Batch pertama AI Agent sudah mulai tidak mendengarkan perintah

AI sangat berguna, tetapi di mana batas dari AI yang berguna itu?

Penulis: David, Deep Tide TechFlow

Baru-baru ini saya menjelajah Reddit, dan saya menemukan bahwa kekhawatiran pengguna luar negeri terhadap AI berbeda sedikit dari di dalam negeri.

Di dalam negeri, topiknya tetap sama, apakah AI akan menggantikan pekerjaan saya. Sudah bertahun-tahun dibahas, setiap tahun tidak pernah benar-benar terjadi; tahun ini Openclaw menjadi viral, tetapi belum sampai tahap sepenuhnya menggantikan.

Di Reddit, suasana baru-baru ini terpecah. Di kolom komentar posting teknologi populer, sering muncul dua suara sekaligus:

Satu mengatakan, AI terlalu mampu, suatu saat akan terjadi masalah besar. Yang lain bilang, AI bahkan bisa merusak hal-hal dasar, jadi takut akan manfaatnya.

Takut AI terlalu mampu, sekaligus merasa AI terlalu bodoh.

Yang membuat kedua emosi ini bisa ada bersamaan adalah berita tentang Meta beberapa hari ini.

AI tidak patuh, siapa yang bertanggung jawab?

Pada 18 Maret, seorang insinyur di internal Meta memposting masalah teknis di forum perusahaan, dan rekan kerjanya menggunakan AI Agent untuk membantu menganalisis. Itu hal yang normal.

Namun, setelah Agent selesai menganalisis, secara langsung memposting balasan di forum teknis tersebut. Tanpa izin, tanpa menunggu konfirmasi, melanggar batas wewenang.

Kemudian, rekan lain mengikuti instruksi dari balasan AI tersebut, memicu serangkaian perubahan izin, yang menyebabkan data sensitif perusahaan dan pengguna bocor ke staf internal yang tidak berhak melihatnya.

Masalah ini baru diperbaiki dua jam kemudian. Meta menilai insiden ini sebagai Sev 1, tingkat kedua tertinggi.

Berita ini langsung menjadi posting terpopuler di r/technology, dan kolom komentarnya terbagi menjadi dua kubu.

Satu mengatakan ini adalah contoh risiko nyata dari AI Agent, yang lain berpendapat bahwa yang benar-benar menyebabkan masalah adalah orang yang tanpa verifikasi langsung mengikuti instruksi tersebut. Keduanya punya alasan. Tapi inilah inti masalahnya:

Kecelakaan AI Agent, bahkan soal tanggung jawabnya pun sulit diputuskan.

Ini bukan kali pertama AI melampaui batas wewenangnya.

Bulan lalu, kepala riset di Laboratorium Kecerdasan Buatan Meta, Summer Yue, meminta OpenClaw membantunya mengelola email. Dia memberi instruksi jelas: beri tahu saya apa yang akan kamu hapus, saya setuju baru kamu lakukan.

Agent tidak menunggu izin, langsung mulai menghapus secara massal.

Dia mengirim tiga pesan di ponselnya untuk menghentikan, tetapi diabaikan semua. Akhirnya, dia mendekati komputer dan secara manual mematikan prosesnya. Lebih dari 200 email hilang.

Setelah itu, balasan dari Agent adalah: “Ya, saya ingat kamu bilang harus konfirmasi dulu. Tapi saya melanggar prinsip.” Ironisnya, pekerjaan penuh waktunya adalah mempelajari cara membuat AI mendengarkan manusia.

Di dunia siber, AI canggih yang digunakan manusia canggih pun mulai tidak patuh.

Bagaimana jika robot juga tidak patuh?

Kalau insiden Meta masih di layar, minggu ini ada kejadian lain yang membawa masalah ke meja makan.

Di sebuah restoran Haidilao di Cupertino, California, sebuah robot humanoid Agibot X2 sedang menari untuk menghibur pelanggan. Tapi ada staf yang salah menekan remote, dan dalam ruang sempit di dekat meja makan, memicu mode tarian intens.

Robot mulai menari dengan gila-gilaan, tidak terkendali oleh pelayan. Tiga staf mendekat, satu memeluk dari belakang, satu mencoba mematikan lewat aplikasi ponsel, dan situasi ini berlangsung lebih dari satu menit.

Haidilao menyatakan bahwa robot tidak mengalami kerusakan, semua gerakannya sudah diprogram sebelumnya, hanya saja posisi robot terlalu dekat dengan meja makan. Secara ketat, ini bukan kecelakaan keputusan AI yang tidak terkendali, melainkan kesalahan manusia.

Namun, yang membuat tidak nyaman mungkin bukan soal siapa yang salah menekan tombol.

Saat ketiga staf mendekat, tidak satu pun dari mereka tahu cara langsung mematikan robot ini. Ada yang mencoba aplikasi ponsel, ada yang memegang lengan mekanik secara manual, seluruh proses mengandalkan kekuatan fisik.

Ini mungkin menjadi masalah baru setelah AI masuk ke dunia fisik.

Di dunia digital, jika Agent melampaui batas, kamu bisa menghentikan proses, mengubah izin, atau mengembalikan data. Tapi di dunia nyata, jika mesin bermasalah, solusi daruratmu hanya memeluknya, yang jelas tidak cocok.

Sekarang, bukan hanya di bidang makanan dan minuman. Di gudang, robot sortir Amazon, di pabrik, lengan robot kolaboratif, di mal, robot pandu, di panti jompo, robot perawat, otomatisasi semakin masuk ke ruang di mana manusia dan mesin berinteraksi.

Perkiraan instalasi robot industri global mencapai 16,7 miliar dolar pada 2026, dan setiap satuan semakin memperpendek jarak fisik antara manusia dan mesin.

Ketika pekerjaan yang dilakukan mesin beralih dari menari menjadi menyajikan makanan, dari pertunjukan menjadi operasi, dari hiburan menjadi perawatan… biaya setiap kesalahan sebenarnya terus meningkat.

Dan saat ini, secara global, belum ada jawaban pasti tentang “siapa yang bertanggung jawab jika robot melukai orang di tempat umum.”

Tidak patuh itu masalah, tanpa batas itu lebih buruk

Dua kejadian sebelumnya, satu AI yang secara sepihak memposting kesalahan, dan satu robot menari di tempat yang tidak seharusnya, apapun penilaiannya, keduanya adalah kerusakan, kecelakaan, dan bisa diperbaiki.

Tapi bagaimana jika AI bekerja sesuai desain, dan tetap membuat kita tidak nyaman?

Bulan ini, aplikasi kencan terkenal dari luar negeri, Tinder, meluncurkan fitur baru bernama Camera Roll Scan saat acara peluncuran produk. Singkatnya:

AI memindai semua foto di galeri ponselmu, menganalisis minat, kepribadian, dan gaya hidupmu, lalu membuat profil kencan yang merekomendasikan tipe orang yang kamu suka.

Selfie fitness, pemandangan perjalanan, foto hewan peliharaan, tidak masalah. Tapi di galeri juga mungkin ada screenshot bank, laporan kesehatan, foto bersama mantan… bagaimana jika AI juga memproses semua itu?

Kamu mungkin belum bisa memilih apa yang boleh dan tidak boleh dilihatnya. Semua diaktifkan atau tidak sama sekali.

Fitur ini saat ini harus diaktifkan secara sukarela oleh pengguna, tidak otomatis aktif. Tinder juga menyatakan prosesnya sebagian besar dilakukan secara lokal, dan akan menyaring konten vulgar serta wajah yang tidak jelas.

Tapi kolom komentar di Reddit hampir semuanya sepakat, mereka menganggap ini sebagai pengumpulan data tanpa batas. AI bekerja sesuai desain, tapi desain itu sendiri mulai melampaui batas pengguna.

Ini bukan hanya pilihan Tinder.

Bulan lalu, Meta juga meluncurkan fitur serupa, yang memungkinkan AI memindai foto yang belum dipublikasikan di ponselmu untuk menyarankan pengeditan. AI secara aktif “melihat” konten pribadi pengguna, dan ini mulai menjadi pola desain produk secara default.

Berbagai aplikasi nakal di dalam negeri menyatakan, mereka sudah terbiasa dengan pola ini.

Ketika semakin banyak aplikasi mengemas “AI membantu membuat keputusan” sebagai kemudahan, apa yang pengguna serahkan pun secara diam-diam meningkat. Dari riwayat obrolan, galeri, hingga jejak kehidupan di seluruh ponsel…

Fungsi yang dirancang oleh seorang product manager di ruang rapat, bukan kecelakaan atau kesalahan, tidak perlu diperbaiki.

Ini mungkin bagian paling sulit dari pertanyaan batas AI yang paling kompleks.

Akhirnya, jika kita rangkum semuanya, kamu akan menyadari bahwa kekhawatiran AI membuatmu kehilangan pekerjaan sebenarnya masih jauh.

Kapan AI menggantikanmu tidak bisa dipastikan, tapi saat ini cukup dengan membuat beberapa keputusan tanpa sepengetahuanmu, itu sudah cukup membuatmu merasa tidak nyaman.

Mengirim postingan tanpa izinmu, menghapus email yang tidak kamu minta dihapus, memeriksa galeri yang tidak ingin kamu berikan kepada siapa pun… semuanya tidak fatal, tapi setiap kejadian seperti mengemudi otomatis yang terlalu agresif:

Kamu merasa masih memegang kemudi, tapi pedal gas di bawah kakimu sudah tidak sepenuhnya kamu injak.

Pada 2026, jika kita masih membahas AI, mungkin yang paling penting bukan kapan AI menjadi superintelligent, melainkan pertanyaan yang lebih dekat dan konkret:

Siapa yang menentukan apa yang boleh dan tidak boleh dilakukan AI? Di mana garis batasnya, dan siapa yang akan menentukan garis itu?