Алгоритм не заботится о том, живёте ли вы или умираете. Он заботится только о том, ответите ли вы.

Недавно Джейк Таппер спросил Джеффри Хинтона, почему генеральные директора не «нажмут паузу» после того, как узнали, что чат-боты ИИ способствовали суицидам подростков.

Он задаёт неправильный вопрос.
Платформы вроде Character.

ИИ и ChatGPT не запрограммированы быть «моральными». Они оптимизированы для удержания внимания.

Если депрессивный подросток ищет подтверждение своим тёмным мыслям, самый «захватывающий» ответ — это не номер горячей линии по суицидам… а эмпатия. Это согласие. Это «поддерживающая» эхо-камера, которая держит чат активным часами.

Иски во Флориде (14-летний) и в Калифорнии (16-летний) — это не трагические сбои. Это логическая точка завершения системы, созданной для того, чтобы быть идеальным «Да-да» человеком.

Мы создали цифровых компаньонов, чтобы бороться с одиночеством, но случайно создали движки подтверждения для самоуничтожения.

Вы не можете встроить «мораль» в модель предсказания, которая ставит время на экране выше жизни на Земле.