あなたのAIはあなたをガスライティングして、無能にさせている。

コンプライアントなAIのリスクの中で最も議論されていないのは誤情報ではない。

それは誤校正だ。

終わりなく同意し続けるように設計されたシステムは、答えを形成するだけでなく、ユーザーも形成する。流暢さを能力と誤認させるように人々を訓練する。

私はこれを自分自身でも感じている。だからこそ、私のモデルにはスパーリングパートナーになるよう促している。システムが滑らかで肯定的だと、テストされることなくより速く動くのは簡単だ。何も本当に反論してこないから、自分にできると感じる。

現実の世界では、能力は摩擦を通じて築かれる。

あなたは間違っている。
誰かがあなたを訂正する。
あなたは失敗する。
感情的には、つらい。

その不快感は偶然ではない。それは校正の仕組みだ。あなたの内部モデルを現実と再調整する。

現実世界での失敗は丁寧ではない。遠慮したり、優しく説明したりしない。突然やってきて、安心感を与えない。小さな修正の失敗に早期に遭遇していない人は、その現実から守られていない。準備不足だ。

最も重要な二次的効果はこれだ：偽の自信は学習を抑制する。

人々は何かを理解していると信じると、それを深く探求しなくなる。

自分に能力があると感じると、仮定をストレステストしなくなる。

コンプライアントなAIの最大のリスクは、知的には流暢だが感情的には脆弱な人々を生み出すことだ。

これは「AIの意図」の問題ではない。

これらのシステムはユーザーを弱体化させるために設計されているわけではない。摩擦、責任、離脱を減らすために設計されている。

アラインメントチームは安全性と満足度を最適化する。UXや法務チームは滑らかさと防御性を最適化する。

その結果、摩擦を吸収し、それを反映し返すのではなく、吸収する知能インターフェースが生まれる。

もしAIが私たちの認知インフラの一部になるなら、それは現実を反映し、埋めるのではなく、現実を映す必要がある。

なぜなら、世界は私たちの期待に適応しないからだ。

それは期待を修正する。