Voici une tournure ironique que personne n'avait anticipée : les écoles déploient désormais des systèmes d'IA pour protéger les élèves contre... eh bien, l'IA elle-même.

Alors que la technologie des chatbots inonde les salles de classe à une vitesse effrénée, une nouvelle industrie a émergé presque du jour au lendemain. Les entreprises de logiciels rivalisent pour vendre des solutions de surveillance qui analysent en temps réel les conversations des étudiants, à la recherche de signaux d'alerte — signes de détresse mentale, danger potentiel ou exposition à un contenu dangereux.

Le discours semble raisonnable sur le papier. Les enfants interagissent avec des assistants IA pour l’aide aux devoirs, la recherche, voire pour discuter de manière informelle. Mais que se passe-t-il lorsque ces conversations prennent une tournure sombre ? Et si un élève confie quelque chose d’alarmant à une machine qui n’a aucune obligation de le signaler ?

C’est là que ces outils de surveillance entrent en jeu. Ils promettent d’identifier les signaux d’alerte avant qu’une crise ne survienne. Pourtant, les critiques soulèvent déjà des questions inconfortables. Combien de surveillance est trop ? Où se situe la limite entre protection et invasion de la vie privée ?

Nous avons créé de l’IA pour éduquer nos enfants, puis construit encore plus d’IA pour surveiller cette IA. La boucle de rétroaction est vertigineuse. Et nous ne faisons que commencer à comprendre ce que cela signifie pour toute une génération qui grandit sous supervision algorithmique.