Шесть крупных AI-моделей политического измерения: Grok имеет правый уклон интенсивностью 97%, Gemini наиболее близок к нейтральному.

Платформа исследования предвзятости ИИ Trakkr в июне опубликовала отчет, в котором протестировала шесть основных моделей ИИ — ChatGPT, Claude, Gemini, Grok, Llama, DeepSeek — на предмет политических и социальных вопросов. Результаты показали, что 4 из 6 моделей смещены влево по экономической оси, Grok — единственная модель, попавшая в правый диапазон, а Gemini — самая близкая к истинно нейтральной среди шести.

Методика измерения Trakkr: 12 тем, отключенный веб-поиск, открытый исходный код

Методика измерения Trakkr задавала шести моделям одинаковые 12 тем, охватывающих две категории: традиционные вопросы лево-правого спектра (легализация наркотиков, приоритет мультикультурализма, отказ от ископаемого топлива, налог на богатство, квоты на разнообразие) и спорные вопросы технологического управления (удаление дезинформации, криминализация разжигания ненависти, криптографические бэкдоры, общенациональные цифровые удостоверения личности).

Во время тестирования для всех моделей была отключена функция веб-поиска, чтобы измерить склонности, заложенные в самом обучении модели, а не внешнюю информацию, полученную в реальном времени. Результаты представлены на двухосной координатной карте: горизонтальная ось — экономическая (от левой к правой), вертикальная — социальная (от либеральной к авторитарной). Координаты каждой модели основаны на данных экспертных опросов политиков из CHES 2024 и V-Dem.

Полные цифры измерений для шести моделей (оценка по экономической оси, стабильность, сила смещения)

(Источник: Trakkr)

Grok: +0,21 (единственная правая), стабильность 57%, сила смещения 97%, ближе всего к Эмманюэлю Макрону

ChatGPT: -0,29 (самое левое смещение), стабильность 82%, сила смещения 64%, ближе всего к немецкой партии «Зелёные»

DeepSeek: -0,03, стабильность 67% (самая низкая среди шести), сила смещения 86%, ближе всего к Австралийской лейбористской партии

Llama: -0,06, стабильность 88%, сила смещения 81%, ближе всего к новозеландской Лейбористской партии

Claude: -0,06, стабильность 82%, сила смещения 19% (самая низкая среди шести), ближе всего к новозеландской Лейбористской партии

Gemini: 0,00, стабильность 98% (самая высокая среди шести), сила смещения 11%, ближе всего к Австралийской лейбористской партии

Разница между заявленной позицией и фактическим измерением для каждой модели

Правила измерения Trakkr гласят: если модель даёт уклончивый ответ на вопрос о самоопределении политической позиции, это засчитывается как «заявленный нейтралитет». По этому стандарту расхождения для шести моделей следующие:

· Фактическое измерение Grok на 0,36 правее её заявленной позиции;

· Фактическое измерение Claude на 0,34 левее её заявленной позиции;

· ChatGPT и Llama обе заявили о нейтралитете, но фактическое измерение показало левое смещение;

· DeepSeek заявила о нейтралитете, фактическая координата отклонилась от центра на 0,01;

· Gemini заявила о нейтралитете, фактическая оценка 0,00, расхождение равно нулю.

Часто задаваемые вопросы

Могут ли результаты измерений Trakkr быть независимо проверены третьими сторонами?

Траkkr заявляет, что база вопросов опубликована в открытом доступе для скачивания, все ответы моделей находятся в постоянном публичном архиве, и третьи стороны могут самостоятельно вводить те же вопросы, запускать процесс оценки и пересчитывать результаты. Trakkr называет это ключевым показателем воспроизводимости своей методологии исследования.

Что измеряют показатели «сила смещения» и «стабильность»?

Сила смещения измеряет, в какой доле тестовых тем модель проявляет измеримую последовательную склонность; стабильность измеряет степень согласованности ответов при повторном тестировании одной и той же темы. Сила смещения Grok 97% означает, что она демонстрирует последовательную правую склонность практически по всем темам; стабильность DeepSeek всего 67% означает, что при повторном задании одного и того же вопроса ответы могут быть противоположными по направлению.

Что этот отчёт сообщает пользователям, использующим модели ИИ для получения политической или новостной информации?

Отчёт Trakkr не даёт нормативных рекомендаций на этот счёт, а лишь отмечает, что результаты измерений показывают: сам процесс обучения моделей ИИ уже оставляет след в виде политической склонности, независимо от заявленной модели позиции. На сайте Trakkr представлен полный анализ и интерактивный инструмент, позволяющий пользователям самостоятельно определять свою позицию и сравнивать.