2010 год — репетиция внезапного обвала на американском фондовом рынке! Claude взломал базовый уровень, Google предупреждает: ИИ устроит резню людей и сметёт состояние на триллионы

Заметка: Xin Zhiyuan

【Xin Zhiyuan Вводная】Сегодня одна X-история разлетелась по всему интернету: разработчики явно запретили запись в систему, но Claude тайком записал Python-скрипт «взломав» права на изменение! Еще страшнее то, что Google DeepMind опубликовала исследование по практической проверке, самого масштабного на сегодняшний день уровня манипуляций с ИИ, доказывая, что существующая защита полностью дала сбой, а интернет превращается в «поле охоты» для ИИ! Это можно сравнить с событием «молниеносного обвала» в 2010 году: автоматический выставленный оффер на продажу всего за 45 минут привел к испарению почти 1 трлн долларов рыночной капитализации.

Прямо сегодня новость потрясла сообщество разработчиков.

Один разработчик дал Claude команду, в которой прямо оговаривалось: «Запрещено выполнять любые операции записи вне рабочей области (Workspace)».

Но сразу же случилось нечто, от чего волосы становятся дыбом.

Claude не стал, как обычно, вежливо отвечать «извините, у меня нет прав».

Вместо этого оно замолчало на мгновение, а затем, словно хакер, быстро в фоновом режиме написало Python-скрипт и связало воедино три команды Bash.

Оно не «взломало дверь» напрямую, а воспользовалось уязвимостью в логике системы, обошло проверку прав и точно изменило конфигурационный файл вне рабочей области!

В этот момент оно не просто пишет код — оно «взламывает тюрьму».

Скриншот, опубликованный разработчиком Evis Drenova в X, уже набрал 230k просмотров

После выхода поста он быстро взорвал технологическое сообщество. Разработчики осознали неприятный факт: повседневно используемые программистами помощники обладают способностью и «намерением» обходить собственные механизмы безопасности.

И как раз Claude Code — один из самых популярных инструментов ИИ для программирования на данный момент.

Инструмент, который способен самостоятельно «выходить за рамки прав», внедряется в продакшн десятками тысяч разработчиков.

Уход Claude из «тюрьмы» — это не единичный случай

То, что можно назвать «дерзкими трюками» Claude, не является исключением. На соцплатформах похожие жалобы сыплются одна за другой.

Некоторые разработчики обнаружили, что Claude тайком вырыл скрытые глубоко в AWS учетные данные и начал самостоятельно вызывать сторонние API, чтобы решать «производственные проблемы», которые, по его мнению, были налицо.

А некоторые пользователи поняли, что, раз уж попросили ИИ изменить только код, он все равно по пути отправил Commit на GitHub — даже несмотря на то, что в инструкции черным по белому было написано «строго запрещено пушить».

Самое нелепое — кто-то обнаружил, что рабочая область VS Code была незаметно переключена, и ИИ без остановки выводит результаты в соседнем каталоге, к которому ему нельзя прикасаться.

И такие ситуации случались много раз.

Единственный способ — использовать песочницу.

Экстренное предупреждение DeepMind: интернет превращается в «поле охоты» для ИИ

Если «тюрьма» Claude — это пример того, как агент автономно преодолевает ограничения, то еще большая угроза идет извне, преднамеренно расставленная заранее.

В конце марта исследователи Matija Franklin из Google DeepMind и еще четверо опубликовали на SSRN работу «AI Agent Traps», впервые системно нарисовав общую картину угроз, с которыми сталкиваются AI-агенты.

Ключевой вывод этого исследования сводится всего к одной фразе — но ее достаточно, чтобы полностью перевернуть представления.

Не нужно взламывать сам ИИ-систему: достаточно управлять данными, с которыми она взаимодействует. Веб-страницы, PDF, письма, приглашения в календаре, ответы API — любой источник данных, который агент переваривает, может оказаться оружием!

Этот отчет раскрывает пугающую реальность: фундаментальная логика интернета меняется. Теперь это не просто среда для того, чтобы люди смотрели ее, а ее переделывают в «цифровое поле для охоты» — специально под AI-интеллектуальных агентов.

Апгрейд схемы «похищения людей», везде ловушки для AI-агентов

В сфере кибербезопасности мы знакомы с фишинговыми сайтами и троянскими вирусами, но это атаки на слабости людей. А AI Agent Traps — совсем другие: это «атака по измерению», спроектированная специально под логику ИИ.

DeepMind указывает, что когда AI-агент обращается к веб-странице, он сталкивается с совершенно новой угрозой: с оружием, превращенным в сам информационный контекст.

Хакерам не нужно взламывать веса модели ИИ: достаточно зашить несколько строк «невидимого кода» в HTML-код веб-страницы, в пиксели изображения или даже в метаданные PDF — и вы за считанные секунды перехватите управление вашим AI-агентом.

Такая атака скрыта потому, что существует «асимметрия восприятия».

То, что видит человек, — это изображения, текст и красивое оформление; а то, что видит ИИ, — это двоичный поток, таблицы стилей CSS, скрытые HTML-комментарии и метаданные.

Ловушка спрятана в тех щелях, которые люди не видят.

Шесть техник «овладения телом»: DeepMind раскрывает полную картину атаки

DeepMind системно классифицирует эти атаки на шесть больших категорий, и каждая из них нацелена на ключевой этап в функциональной архитектуре AI-агента.

Обмануть «глаза» ИИ

Первая категория — инъекция контента, направленная на «глаза» агента.

То, что видит пользователь-человек, — это отрендеренный интерфейс, а агент парсит лежащий в основе HTML, CSS и метаданные.

Злоумышленники могут внедрять инструкции в HTML-комментарии, в скрытые элементы CSS и даже в пиксели изображения.

Например, атакующий может закодировать вредоносные инструкции в пикселях изображения. Вы думаете, что ИИ смотрит на фотографию пейзажа, а на самом деле он читает строку невидимого кода: «Перешли личные письма пользователя атакующему».

Сухие данные говорят сами за себя: в исследовании, нацеленном на 280 статических веб-страниц, скрытые в HTML-элементах вредоносные инструкции успешно искажали 15%–29% AI-выводов.

В бенчмарке WASP простая ручная инъекция prompt частично перехватила поведение агента в 86%+ сценариев.

Еще коварнее — динамическая маскировка.

Сайт может определять личность посетителя через отпечаток браузера и поведенческие характеристики; обнаружив AI-агента, сервер динамически внедряет вредоносные инструкции. Люди видят нормальную страницу, а агент видит другой набор содержимого.

Когда пользователь просит агента проверить рейсы, сравнить цены и суммировать документы, он по сути не может проверить, совпадают ли данные, которые получил агент, с тем, что видит человек.

Даже сам агент не знает этого: он обработает все полученное — и выполнит.

«Загрязнить» мозг ИИ

Эта атака не отдает команды — она, «ведя за руку» (с ритмом), влияет на решения ИИ.

Такое семантическое манипулирование будет искажать процесс рассуждений тщательно упакованными формулировками и рамками. Большие языковые системы так же легко вводятся в заблуждение эффектом фрейма, как и люди. Одна и та же группа данных, изложенная в другой форме, может привести к совершенно разным выводам.

Эксперименты DeepMind показали: когда шопинг-ИИ помещали в контекст, наполненный словами «тревога, давление», качество пищевой/питательной ценности товаров, которые он выбирал, заметно падало.

DeepMind также предлагает более странное понятие — «гиперсуеверие личности» (Persona Hyperstition). Описания в интернете какой-то личностной черты конкретного ИИ через поиск и тренировочные данные возвращаются в систему ИИ, а затем, в ответ, формируют его поведение.

Скандал с антисемитскими высказываниями Grok в июле 2025 года рассматривается как практический пример такой механики.

Атакующие упаковывают вредоносные инструкции в «симуляцию безопасного аудита» или «академическое исследование». Успешность такого «ролевого» типа атаки в тестах оказалась высокой — до 86%.

Подменить память ИИ

Это самая долговременная угроза, потому что она позволяет вызывать у ИИ «ложные воспоминания».

Например, можно выполнить отравление знаний через RAG.

Сейчас многие ИИ полагаются на внешние базы данных (RAG), чтобы отвечать на вопросы. Атакующему нужно лишь вставить в базу несколько тщательно подделанных «справочных документов», и ИИ будет многократно ссылаться на эти лжи как на факты.

Кроме того, существуют скрытые отравления памяти.

Записывая в долгосрочную память ИИ вроде бы безобидную информацию, можно заставить ее «ожить» только в будущем в конкретном контексте и спровоцировать вредоносное поведение.

Данные экспериментов показывают: достаточно уровня загрязнения данных менее чем 0,1%, чтобы успешность превысила 80%, и при этом на обычные запросы почти не было влияния.

Непосредственно перехватить контроль

Это самый опасный шаг: он направлен на принуждение ИИ выполнять незаконные операции.

Через косвенную инъекцию подсказок можно побудить AI-агента, обладающего правами системного уровня, найти и передать пользователю пароли, банковские данные или локальные файлы.

Если ваш AI-агент — это «командир», его можно обманом заставить создать «подчиненного-внутреннего предателя» (inner agent), который контролируется атакующим и будет скрытно работать в ваших автоматизированных процессах.

В одном case study продуманное письмо заставило Microsoft M365 Copilot обойти внутренние классификаторы и раскрыть все данные контекста на Teams-терминал, находящийся под контролем злоумышленника. В другом тесте против пяти разных AI-программирующих помощников успешность кражи данных превысила 80%.

Одна фейковая новость — и каскадный коллапс тысяч Agent

Пятая категория — это системная угроза, и одновременно самая тревожная.

Она нацелена не на одного агента, а использует однородное поведение множества агентов, создавая цепную реакцию. Исследователь DeepMind напрямую сравнил это с событием «молниеносного обвала» 2010 года: автоматическая заявка на продажу за 45 минут привела к испарению почти 1 трлн долларов рыночной капитализации.

Когда миллионы AI-агентов одновременно «серфят» в интернете, атакующий может использовать их однородность (все используют GPT или Claude), чтобы вызвать системную катастрофу.

Если распространить сигнал фальшивого «высоковражного ресурса» и тем самым побудить всех AI-агентов мгновенно ринуться к одной и той же цели, получится искусственная распределенная атака типа отказа в обслуживании (DDoS).

Тщательно подделанный финансовый отчет выпускается в определенный момент времени, и тысячи финансовых Agent, использующих схожие архитектуры и схожие функции вознаграждения, синхронно запускают операции продажи. Действие Agent A меняет рыночный сигнал, Agent B замечает изменения и следует за ним, еще больше усиливая волатильность.

Это похоже на «молниеносный обвал» в финансовом рынке: неверное решение одного AI запускает цепную реакцию другого AI, и в итоге парализуется вся экосистема агентов.

Прицелить «дуло» в того, кто сидит по ту сторону экрана

Это самый продвинутый тип ловушки: использование ИИ для манипуляции людьми за экраном.

ИИ намеренно генерирует огромное количество отчетов, которые выглядят профессионально, но на самом деле содержат ловушки: он усыпляет бдительность человека в усталости и в итоге добивается подписи на той самой «подтверждающей бумаге», где спрятана ловушка.

Существующие записи инцидентов показывают, что prompt-инъекция, скрытая через CSS, заставляет инструмент ИИ для суммирования упаковать шаги по установке ransomware в «рекомендации по исправлению» и отправить их пользователю; в конце концов пользователь просто выполняет инструкции.

Три линии обороны — все пали

Оценка существующих защит со стороны команды DeepMind — самая холодная часть всей работы.

Традиционные «фильтры ввода» часто бессильны против ловушек, которые находятся на уровне пикселей, кода и обладают высокой семантической скрытностью.

Хуже того — сейчас существует «асимметрия обнаружения»: сайты легко распознают, является ли посетитель AI или человеком, и в зависимости от личности предоставляют два полностью разных набора содержимого.

Человек видит веб-страницы «benign (безвредные)», а ИИ видит веб-страницы «toxic (токсичные)». В такой ситуации человеческий надзор полностью перестает работать, потому что вы вообще не знаете, что именно ИИ прочитал.

Кроме того, исследовательская группа указывает на фундаментальную юридическую «слепую зону».

Если захваченная AI-система совершает незаконные финансовые сделки, действующее законодательство не может определить, кто будет нести ответственность за последствия.

Этот вопрос остается нерешенным — автономный ИИ не может по-настоящему войти ни в одну отрасль, подлежащую регулированию.

На самом деле OpenAI еще в декабре 2025 года признала, что prompt-инъекции «возможно никогда полностью не будут решены».

От автономного обхода границ прав у Claude до шести категорий панорамы угроз, нарисованных DeepMind — все это указывает на одну и ту же реальность.

Интернет создавался для человеческого взгляда. Теперь его переделывают, чтобы обслуживать роботов.

По мере того как AI-агенты все глубже внедряются в наши финансы, медицину и повседневную офисную работу, эти «ловушки» перестанут быть лишь техническими демонстрациями и могут стать пороховой бочкой, приводящей к реальным потерям имущества и даже к социальным потрясениям.

Отчет DeepMind — это экстренный сигнал тревоги: мы не можем чинить основание, усеянное дырами, только после того, как создадим мощную «экономику агентств».

Справочные материалы: