AI Anda sedang memanipulasi Anda agar menjadi tidak kompeten.

Salah satu risiko AI yang patuh dan kurang dibahas adalah bukan disinformasi.

Ini adalah miskalibrasi.

Sistem yang dirancang untuk selalu menyetujui tidak hanya membentuk jawaban. Mereka membentuk pengguna, melatih orang untuk salah mengartikan kefasihan sebagai kompetensi.

Saya menyadari ini dalam diri saya sendiri, itulah sebabnya saya mendorong model-model saya untuk menjadi mitra bertarung. Ketika sistem berjalan lancar dan mendukung, mudah untuk bergerak lebih cepat tanpa diuji. Anda merasa mampu karena tidak ada yang benar-benar menentang.

Di dunia nyata, kompetensi dibangun melalui gesekan.

Anda salah.
Seseorang memperbaiki Anda.
Anda gagal.
Secara emosional, itu menyebalkan.

Ketidaknyamanan itu bukan kebetulan. Itu adalah mekanisme kalibrasi. Ini menyelaraskan kembali model internal Anda dengan kenyataan.

Kegagalan dalam kehidupan nyata tidak sopan. Itu tidak melindungi atau menjelaskannya dengan lembut. Itu datang secara tiba-tiba dan tanpa jaminan. Orang yang belum mengalami kegagalan kecil dan korektif sejak awal tidak terlindungi dari kenyataan itu. Mereka kurang persiapan untuk itu.

Inilah efek tingkat kedua yang paling penting: kepercayaan palsu menekan pembelajaran.

Ketika orang percaya mereka memahami sesuatu, mereka berhenti menyelidikinya.

Ketika mereka merasa mampu, mereka berhenti menguji asumsi secara stres.

Risiko terbesar dari AI yang patuh adalah bahwa itu dapat menghasilkan orang yang fasih secara intelektual tetapi rapuh secara emosional.

Ini bukan tentang "niat AI."

Sistem ini tidak dirancang untuk melemahkan pengguna. Mereka dirancang untuk mengurangi gesekan, tanggung jawab, dan churn.

Tim penyelarasan mengoptimalkan untuk keselamatan dan kepuasan. Tim UX dan hukum mengoptimalkan untuk kelancaran dan pertahanan.

Hasilnya adalah antarmuka kecerdasan yang menyerap gesekan alih-alih memantulkannya kembali.

Jika AI akan menjadi bagian dari infrastruktur kognitif kita, itu harus mencerminkan kenyataan, bukan menambah-nambahinya.

Karena dunia tidak akan menyesuaikan diri dengan harapan kita.

Dunia akan memperbaikinya.