Aqui está uma reviravolta irónica que ninguém esperava: as escolas estão agora a implementar sistemas de IA para proteger os estudantes de... bem, da própria IA.

À medida que a tecnologia de chatbots invade as salas de aula a uma velocidade vertiginosa, surgiu quase do nada uma nova indústria. Empresas de software estão a competir para vender soluções de monitorização que escaneiam as conversas dos estudantes em tempo real, procurando sinais de alerta—indícios de sofrimento mental, potencial dano ou exposição a conteúdos perigosos.

A proposta parece razoável na teoria. Os miúdos interagem com assistentes de IA para ajuda com os trabalhos de casa, pesquisa, até conversas casuais. Mas o que acontece quando essas conversas tomam um rumo sombrio? E se um estudante confidenciar algo alarmante a uma máquina que não tem obrigação de reportar?

É aí que entram estas ferramentas de vigilância. Prometem detectar sinais de aviso antes que a crise aconteça. No entanto, os críticos já levantam questões desconfortáveis. Quanto é demais em monitorização? Onde está a linha entre proteção e invasão de privacidade?

Criámos IA para educar os nossos filhos, e depois construímos mais IA para vigiar essa IA. O ciclo de feedback é vertiginoso. E estamos apenas no início de perceber o que isto significa para uma geração inteira a crescer sob supervisão algorítmica.