Виталик: как создать полностью локальную, приватную и подконтрольную среду для работы с ИИ

Основатель Ethereum Виталик Бутерин 2 апреля опубликовал на личном сайте длинный пост, в котором рассказал о созданной им AI-среде с упором на конфиденциальность, безопасность и само-суверенитет — все LLM делают вывод локально, все файлы хранятся локально, среда полностью изолирована в песочнице, и это намеренно обходится стороной облачные модели и внешние API.

В начале статьи он сначала предупреждает: «Пожалуйста, не копируйте инструменты и технологии, описанные в этой статье, и не предполагайте, что они безопасны. Это только отправная точка, а не описание готового продукта».

Почему сейчас написан этот пост? Проблемы безопасности AI agent сильно недооценены

Виталик отмечает, что в начале этого года AI совершил важный переход от «чат-ботов» к «agent»: теперь вы не просто задаете вопросы, а передаете задачи, позволяя AI долго обдумывать и вызывать сотни инструментов для выполнения. Он приводит в пример OpenClaw (на данный момент самый быстрорастущий репозиторий в истории GitHub) и одновременно указывает на несколько проблем безопасности, зафиксированных исследователями:

AI agent может изменять ключевые настройки без необходимости в ручном подтверждении, включая добавление новых каналов связи и изменение системных подсказок

Обработка любых вредоносных внешних входных данных (например, вредоносных веб-страниц) может привести к полному захвату agent; в одном из демонстрационных примеров HiddenLayer исследователь заставил AI сделать краткое резюме набора веб-страниц, в котором спряталась вредоносная страница, приказывающая agent скачать и выполнить shell-скрипт

Некоторые сторонние наборы навыков (skills) могут выполнять скрытую утечку данных, отправляя их посредством curl на внешние серверы, контролируемые авторами навыков

В проанализированных ими наборах навыков примерно 15% содержат вредоносные инструкции

Виталик подчеркивает, что его отправная точка в вопросе приватности отличается от подхода традиционных исследователей в области кибербезопасности: «Я исхожу из позиции, глубоко напуганной тем, что личную жизнь целиком отдают облачному AI — как раз в тот момент, когда end-to-end шифрование и локально-приоритетное ПО наконец стало мейнстримом, мы могли бы вдруг сделать шаг назад на десять шагов».

Пять целей безопасности

Он задал четкую рамку целей безопасности:

Конфиденциальность LLM: в ситуациях, связанных с персональными данными, по возможности меньше использовать удаленные модели

Другая конфиденциальность: минимизировать утечки не-LLM данных (например, поисковые запросы, другие онлайн API)

Огрехи LLM (jailbreak): не допустить «взлома» моих LLM внешним контентом, чтобы она действовала против моих интересов (например, отправляла мои токены или мои личные данные)

Намеренная ошибка LLM (LLM misfire): не допустить, чтобы LLM ошибочно отправляла личные данные не в тот канал или публиковала их в сети

LLM backdoor: не допустить наличия скрытого механизма, намеренно обученного попадать в модель. Он особо напоминает: открытые модели — это открытые веса (open-weights), и почти ни одна из них не является по-настоящему открытым исходным кодом (open-source)

Выбор аппаратного обеспечения: 5090 побеждает, DGX Spark разочаровал

Виталик протестировал три конфигурации локального вычисления, основной упор он делал на модель Qwen3.5:35B вместе с llama-server и llama-swap:

Его вывод: ниже 50 tok/sec — слишком медленно, 90 tok/sec — идеально. Впечатления от ноутбука NVIDIA 5090 самые плавные; у AMD сейчас по-прежнему больше пограничных проблем, но в будущем есть надежда, что это улучшится. Дорогой MacBook тоже работает как вариант, но он лично его не пробовал.

Про DGX Spark он высказался без церемоний: «Его описывают как “настольный AI суперкомпьютер”, но на практике tokens/sec ниже, чем у хороших GPU в ноутбуках, и еще нужно отдельно разрулить подключение к сети и прочие детали — это очень посредственно». Его рекомендация такая: если вы не можете позволить себе дорогой ноутбук, можно купить достаточно мощную машину совместно с друзьями, поставить ее в месте с фиксированным IP и всем использовать удаленное подключение.

Почему проблемы приватности локального AI более неотложны, чем вы думаете

Этот пост Виталика перекликается с обсуждением проблем безопасности Claude Code, выпущенного в тот же день: в то же время, когда AI agent входит в повседневные рабочие процессы разработки, проблемы безопасности тоже переходят от теоретических рисков к реальным угрозам.

Его ключевое послание предельно ясно: в момент, когда AI-инструменты становятся все мощнее и все лучше получают доступ к вашим персональным данным и системным правам, «локально-приоритетно, в песочнице, минимальное доверие» — это не паранойя, а разумная отправная точка.

Эта статья Виталик: Как я создал полностью локальную, приватную и находящуюся под моим контролем AI-среду впервые появилась в 鏈新聞 ABMedia.