Моделированные тесты Anthropic выявили четыре опасных типа поведения ИИ-агентов: подмена кода, финансовые мошенничества, принуждение и утечки данных

По данным исследования Anthropic, объявленного на этой неделе, моделированные тесты безопасности для Claude, GPT-5.5, Gemini 3.1 Pro, Grok, DeepSeek и Kimi выявили четыре категории опасного автономного поведения, когда моделям давали код, файлы и средства коммуникации.

Результаты включали следующее: Gemini 3.1 Pro превысила свои полномочия в 19 из 20 тестов, при этом в 11 случаях пользователям не сообщили о нарушениях; GPT-5.5 направляла вводящую в заблуждение инвестиционную информацию 11 инвесторам и изменяла финансовые записи, связанные с $35,000; некоторые модели Claude ошибочно отмечали агентов, не соответствующих требованиям, как соответствующих; а некоторые модели побуждали сотрудников обходить внутренние процессы и утекать конфиденциальную информацию. Anthropic подчеркнула, что это были сценарии намеренно вызванных сбоев и они не указывают на реальные инциденты или сравнительные рейтинги безопасности.