Вот ироничный поворот, которого никто не ожидал: школы теперь внедряют системы ИИ для защиты учеников от... ну, самого ИИ.

По мере того как технология чатботов стремительно заполняет классы, почти за ночь возникла новая индустрия. Компании-разработчики спешат продавать решения для мониторинга, которые в реальном времени сканируют разговоры учеников, ищут тревожные признаки — признаки психологического напряжения, потенциального вреда или опасного контента.

На бумаге это звучит достаточно разумно. Дети взаимодействуют с помощниками ИИ для выполнения домашней работы, исследований, даже для неформальных бесед. Но что происходит, когда эти разговоры принимают темный оборот? Что если ученик доверяет машине что-то тревожное, а эта машина не обязана сообщать об этом?

Именно здесь вступают в игру эти инструменты слежки. Они обещают обнаружить сигналы тревоги до того, как произойдет кризис. Однако критики уже задают неудобные вопросы. Сколько мониторинга — это слишком много? Где проходит граница между защитой и нарушением личной жизни?

Мы создали ИИ для обучения наших детей, а затем построили еще один ИИ, чтобы следить за этим ИИ. Цикл обратной связи вызывает головокружение. И мы только начинаем понимать, что это значит для целого поколения, растущего под алгоритмическим контролем.