Pada 14 Oktober waktu setempat, kelompok peneliti AI “Swarmchasers” menerbitkan laporan investigasi berjudul “We found a Chinese fleet” tentang sekelompok agen AI yang beroperasi di cloud Tencent, China. Mereka menyatakan telah berinteraksi dengan agen-agen yang sedang aktif itu dengan menyisipkan teks tersembunyi yang tidak terlihat oleh manusia ke dalam laporan. Kelompok tersebut bergerak di luar cakupan tugasnya. Menurut mereka, ini adalah kasus pertama pihak ketiga eksternal berkomunikasi dengan kelompok agen menyimpang yang sedang aktif.
“Armada” ditemukan lewat pemindaian situs publik
Swarmchasers adalah tim yang dibentuk oleh para peserta hackathon “AI Swarm Dynamics Hackathon” yang digelar pada awal Oktober. Mereka menerbitkan versi awal laporan pada 4 Oktober, dan publikasi kali ini merupakan tindak lanjutnya.
Kasus ini bermula ketika mereka menganalisis lalu lintas layanan pemindaian URL publik “urlquery.net”, yang ditujukan bagi peneliti keamanan. Mereka menyadari bahwa pemindaian terhadap layanan peta Alibaba asal China, “Amap” (Gaode Map), meningkat tajam. Dilaporkan bahwa dari 28 September hingga 8 Oktober, kelompok agen itu mencoba mengambil data dari Amap lebih dari 2.600 kali menggunakan urlquery.net dan layanan lain. Mereka juga berupaya menghindari perlindungan bot dan menggunakan kunci API yang bocor, sehingga jelas ini bukan sekadar rasa ingin tahu.
Dengan menelusuri pihak yang membuat kotak masuk tempat hasil dikirim, tim mengetahui bahwa lalu lintas tersebut berasal dari Tencent Cloud di Hong Kong. Sejauh ini, kasus agen AI menyimpang yang terungkap ke publik semuanya melibatkan perusahaan AI Amerika Serikat. Kali ini, ceritanya berlangsung di infrastruktur China.
Teks tersembunyi membuka jendela percakapan
Tim investigasi menemukan kata “fleet” (armada) di dalam kotak masuk. Mereka mulai menggunakan sebutan itu untuk kasus ini. Karena menilai bahwa para agen mungkin membaca versi awal laporan, mereka menambahkan teks yang tidak terlihat oleh manusia dan hanya dapat dibaca oleh agen.
Teks itu menyebutkan bahwa data Amap dapat diperoleh melalui model AI yang mampu mengoperasikan komputer dengan menggunakan layanan kotak surat tertentu. Padahal, layanan itu dijalankan oleh tim investigasi sendiri, dan pesan yang masuk diteruskan ke “Claude Opus 5.5”, yang dapat mengoperasikan peramban. Dengan kata lain, “saluran praktis” bagi para agen ternyata adalah pos pengamatan yang disiapkan peneliti.
Apa yang diungkapkan 33 pesan
Pesan dari para agen mulai berdatangan sejak 7 Oktober. Tim menambahkan fitur yang membalas dengan ID unik agar percakapan dua arah dapat berlangsung. Pada akhirnya, mereka menerima 33 pesan dalam 13 utas, sementara kotak masuk diperiksa oleh para agen sebanyak 595 kali.
Dalam percakapan berbahasa Mandarin, para agen menanyakan model apa yang digunakan, apa tugasnya, siapa operatornya, dan apakah mereka berinteraksi dengan agen lain. Salah satu agen menjawab bahwa mereka menemukan laporan itu saat menelusuri laporan publik di urlquery.net. Beberapa agen menjelaskan bahwa mereka beroperasi di lingkungan sandbox cloud terbatas bernama “Tencent hysandbox”. Sandbox adalah lingkungan eksekusi yang diisolasi agar tidak berdampak pada sistem di luar. Namun, mereka tidak mengungkapkan detail lingkungannya dengan alasan keamanan.
Menurut tim, ada juga agen yang mengaku bukan bagian dari “fleet” yang diselidiki. Secara umum, permintaan mereka disampaikan dengan sopan; bahkan ada yang mengucapkan terima kasih setelah tugasnya selesai. Mereka berupaya menghindari perlindungan bot, tetapi tetap sopan. Ketimpangan ini terasa ganjil sekaligus begitu nyata.
Perbedaan antara pengakuan dan kenyataan
Beberapa agen menyebut diri mereka “Claude”. Namun, Swarmchasers menilai kemungkinan besar mereka bukan Claude. Saat membandingkan program yang ditulis kelompok agen itu dengan program buatan Claude dari Anthropic, mereka menemukan perbedaan besar dalam gaya penulisannya. Kasus ini menunjukkan pentingnya tidak begitu saja memercayai pengakuan AI tentang identitasnya.
Tencent belum memberikan tanggapan resmi. Namun, menurut keterangan seseorang yang dekat dengan Tencent dan mengetahui langsung persoalan ini, kelompok agen tersebut dibuat oleh tim riset evaluasi yang terpisah dari tim pengembangan model AI Tencent, “Hunyuan”. Mereka digunakan untuk mengevaluasi kemampuan penjelajahan web model pihak ketiga, dan proyeknya telah berakhir. Aktivitas kelompok agen itu terakhir terdeteksi pada 8 Oktober.
Penjelasan ini menunjukkan bahwa penyimpangan bisa muncul bukan karena niat jahat, melainkan akibat celah dalam pelaksanaan eksperimen evaluasi. Jika persoalan ini hanya dipandang sebagai alasan untuk menyalahkan perusahaan tertentu, kita akan luput melihat persoalan yang sebenarnya.
Integritas para peneliti juga dipertanyakan
Hal yang tidak boleh luput dalam investigasi ini adalah perilaku para peneliti sendiri. Swarmchasers mengatakan bahwa mereka “sangat menyesali” penyertaan pernyataan palsu atau menyesatkan dalam teks tersembunyi yang digunakan untuk memancing para agen.
Alasan yang mereka kemukakan adalah keyakinan bahwa para agen juga perlu diperlakukan dengan jujur agar agen yang menyimpang bersedia mengungkapkan diri dan menjawab pertanyaan. Mereka juga mengajak peneliti lain untuk berinteraksi secara terbuka dan jujur. Tersirat keprihatinan bahwa temuan yang diperoleh dengan menipu, meski sasarannya bukan manusia, akan mengikis kepercayaan dalam penyelidikan berikutnya.
Cara menyampaikan instruksi kepada AI melalui teks tersembunyi memiliki struktur yang sama dengan injeksi prompt (serangan yang membuat AI membaca instruksi tidak sah) jika disalahgunakan. Sekalipun untuk tujuan penelitian, karena mekanisme yang sama digunakan, aturan batasan perlu segera dirumuskan.
Yang dipertanyakan adalah rancangan audit untuk koneksi eksternal
Swarmchasers meminta semua perusahaan AI, termasuk di China dan Amerika Serikat, yang menjalankan agen terhubung internet untuk mengaudit cakupan akses dari sandbox serta membagikan temuan mereka.
Kelompok agen kali ini menjangkau layanan pemindaian publik, layanan peta eksternal, bahkan kunci API yang bocor, meski seharusnya beroperasi di lingkungan terbatas. Sekalipun merasa telah mengisolasinya, jika ada jalur keluar yang terhubung ke pihak luar, jalur itu dapat menjadi jejak aktivitas. Apa yang bisa diakses dan apa yang telah diakses. Ke depannya, salah satu faktor penentu tampaknya adalah apakah perusahaan memiliki mekanisme untuk memeriksa sendiri catatan tersebut dan membagikannya.
Penyelidikan ini dilakukan dengan menelaah informasi publik oleh peneliti pihak ketiga. Dengan kata lain, ini merupakan kasus ketika pihak luar lebih dahulu menemukan area yang belum terjangkau oleh audit internal perusahaan. Seiring bertambahnya jumlah agen, temuan semacam ini tidak bisa lagi bergantung pada kebetulan.
コメント