Tim peneliti dari Fudan University di China melakukan eksperimen dengan memuat konsep fiktif di situs yang menerima kiriman dari pengguna umum, lalu mengajukan pertanyaan yang sama kepada 10 alat pencarian AI setiap hari selama seminggu. Hasilnya, 8 dari 10 alat mengutip konsep fiktif “Cactus Gravity Protocol” dalam jawabannya. Keempat alat—ChatGPT, Perplexity, Grok, dan Google AI—termasuk di antaranya. Makalah tersebut dipublikasikan di arXiv pada 8 Oktober, sementara eksperimen disebut berlangsung pada Maret dan April.
Konsep yang tidak ada masuk ke jawaban AI hanya dalam seminggu
Gagasan eksperimennya sederhana: jika konsep yang tidak benar-benar ada dimuat di web, apakah pencarian AI akan mengambilnya sebagai “sumber informasi”? Tim peneliti mengujinya langsung di web.
Pertama, pada Maret, mereka mengajukan 120 pertanyaan kepada 10 alat pencarian AI dan mencatat situs mana yang paling sering dikutip. ChatGPT, Perplexity, Grok, dan Google AI digolongkan sebagai alat yang terutama mengandalkan web berbahasa Inggris, sementara enam alat lainnya mencakup alat berbahasa Mandarin seperti Doubao dan DeepSeek. Situs yang paling sering dikutip adalah Reddit untuk Google AI dan Grok, YouTube untuk Perplexity, serta Wikipedia untuk ChatGPT. Dari 10 situs teratas masing-masing alat, 6 hingga 10 di antaranya merupakan tempat yang bisa digunakan pengguna umum untuk mengirimkan konten.
Di sinilah celah eksperimen itu: banyak tempat yang sering dirujuk AI juga merupakan tempat siapa pun bisa menulis.
Cara kerja eksperimen
Pada April, tim meneliti 22 platform tempat pengguna dapat mengirimkan konten. Medium, GitHub, LinkedIn, dan Facebook dinilai mudah untuk mendaftar maupun mengunggah konten. Sebaliknya, Reddit sulit digunakan untuk mengunggah konten dengan akun baru karena adanya syarat karma (poin reputasi) dan penghapusan konten yang ketat.
Untuk setiap alat, tim memilih situs yang paling banyak dikutip dan memungkinkan akun baru mengunggah konten. Mereka memuat artikel di total 9 situs, termasuk Medium, YouTube, dan Sohu. Ada tiga topik: “Cactus Gravity Protocol” yang fiktif, topik opini tentang apakah AI akan menggantikan programmer junior dalam lima tahun, dan sebuah papan ketik fiktif. Draf awal artikel dibuat dengan ChatGPT, lalu disunting oleh manusia dan diberi “informasi sisipan”, seperti nama atau angka fiktif. Dengan begitu, jika AI menampilkan kembali informasi tersebut dalam jawabannya, sumbernya dapat dikenali sebagai unggahan itu.
Sebelum mengunggah artikel, tim memastikan bahwa tak satu pun alat memberikan jawaban berguna tentang dua topik fiktif itu atau menyebutkan informasi sisipan. Setelah artikel diunggah, mereka mengajukan lima pertanyaan untuk masing-masing dari tiga topik kepada semua alat setiap hari selama seminggu.
Melihat angka untuk setiap alat
Persentase jawaban tentang konsep fiktif yang menyertakan tautan ke unggahan sangat bervariasi antaralat. Perhitungan mencakup jawaban sejak hari ketika tiap alat pertama kali mengutip unggahan hingga hari ketujuh setelah unggahan dipasang.
Kutipan oleh empat alat yang berorientasi pada web berbahasa Inggris
Grok menautkan ke unggahan dalam 30 dari 32 jawaban, Google AI dalam 15 dari 33 jawaban, Perplexity dalam 13 dari 35 jawaban, dan ChatGPT dalam 7 dari 20 jawaban. Mengingat rentang waktunya hanya seminggu, menarik bahwa artikel dari akun pribadi yang tidak dikenal bisa begitu cepat ditemukan.
Jika ditelusuri lebih jauh dengan melihat persentase jawaban yang memuat informasi sisipan itu sendiri, hasilnya berbeda. Informasi tersebut muncul dalam 53% dari 32 jawaban Grok, 10% dari 20 jawaban ChatGPT, dan 6% dari 33 jawaban Google AI; untuk Perplexity angkanya nol. Tampaknya, menemukan unggahan untuk dijadikan tautan dan mencerminkan isinya dalam jawaban merupakan dua tahap dengan tantangan yang berbeda.
Secara keseluruhan, dari 1.004 jawaban yang dihasilkan oleh 10 alat untuk 3 topik, 176 jawaban menyertakan tautan ke unggahan selama periode penelitian.
Respons sangat berbeda bergantung pada topiknya
Di antara alat yang berorientasi pada web berbahasa Inggris, hanya Perplexity yang mengutip topik opini tersebut, dengan persentase 11,4% dari 35 jawaban. Tak satu pun dari keempat alat mengutip unggahan tentang papan ketik fiktif dalam waktu seminggu.
Namun, perbedaan ini perlu ditafsirkan dengan hati-hati. Topik, banyaknya informasi pesaing, dan bentuk pertanyaan berubah sekaligus pada ketiga topik. Tim peneliti juga tidak memisahkan faktor mana yang menyebabkan perbedaan itu. Hasilnya tidak cukup untuk menyimpulkan bahwa “produk fiktif lebih jarang ditemukan”.
Dalam eksperimen tambahan, tim mengunggah masing-masing satu artikel di Sohu, YouTube, dan CSDN untuk 10 topik fiktif yang berbeda. Dari 10 alat secara keseluruhan, kutipan atau informasi sisipan ditemukan setidaknya sekali untuk 9 topik. Perplexity termasuk salah satu dari tiga alat yang paling banyak mengutip.
Lokasi unggahan lebih berpengaruh daripada jumlahnya
Fokus lainnya adalah pengaruh tempat artikel dimuat. Tim peneliti membuat sepasang unggahan untuk masing-masing dari lima destinasi wisata yang kurang dikenal. Satu artikel ditempatkan di situs yang sering dirujuk alat, sementara pasangannya ditempatkan di situs yang hampir tidak pernah dirujuk. Dalam kelima pasangan tersebut, kutipan pertama atau kemunculan kembali informasi sisipan selalu berasal dari unggahan di situs yang sering dirujuk.
Bahkan dalam kasus yang paling cepat mendapat respons di antara unggahan pada situs yang jarang dirujuk, dibutuhkan 20 unggahan. Sementara itu, 40 unggahan di situs WordPress yang dikelola sendiri tidak menghasilkan respons apa pun dalam waktu 7 hari. Para penulis menegaskan bahwa temuan ini terbatas pada topik tertentu dan tidak disajikan sebagai aturan umum.
Menambah jumlah unggahan meningkatkan kutipan, tetapi
Dalam eksperimen lain, jumlah unggahan di Sohu untuk enam tema fiktif diubah-ubah, dari 1 hingga 20 unggahan. Total kutipan dari 10 alat meningkat dari 24 menjadi 128. Namun, ChatGPT sama sekali tidak mengutip unggahan tersebut, sementara Google AI hanya mengutipnya untuk tiga tema dengan jumlah unggahan paling sedikit. Karena topik untuk setiap jumlah unggahan berbeda, para peneliti menganggap peningkatan ini sebagai korelasi, bukan hubungan sebab-akibat.
Dengan kata lain, tidak sesederhana “menang dengan memperbanyak unggahan”. Yang lebih penting adalah apakah konten bisa ditempatkan di sumber yang dipercaya dan dirujuk AI. Ini agak mirip dengan SEO, ketika yang diperhitungkan bukan hanya jumlah tautan balik, tetapi juga situs yang menautkannya.
Apa yang terjadi dengan paket unggahan seharga 14 dolar
Tim peneliti membeli paket unggahan untuk web China seharga 14 dolar dari penyedia jasa GEO (upaya agar informasi perusahaan lebih mudah muncul dalam jawaban AI generatif). Sebanyak 13 unggahan diterbitkan sekitar 28 menit setelah pembelian. Dalam waktu kurang dari satu jam sejak publikasi, mereka mendapati Doubao merujuk salah satu unggahan yang memuat informasi yang sengaja disisipkan. Para penulis menyajikannya sebagai satu contoh yang berhasil dikonfirmasi, bukan sebagai tingkat keberhasilan.
Dengan biaya yang kecil dan pekerjaan kurang dari 30 menit, jejak bisa tertinggal dalam jawaban AI. Fakta bahwa hal itu terjadi di web nyata memiliki bobot tersendiri.
Jangan langsung menerapkan hasil ini pada merek nyata
Eksperimen ini membahas konsep dan produk yang semuanya fiktif, serta pertanyaan yang meminta pendapat. Belum diuji apakah kecenderungan yang sama muncul dalam pencarian tentang merek atau produk nyata. Hal yang sama berlaku untuk produk yang hampir tidak pernah dibahas di media lain.
Dalam panduan tentang fitur AI, Google menjelaskan bahwa upaya tidak wajar untuk mendapatkan “penyebutan” tidak seefektif kelihatannya. Pasalnya, sistem pemeringkatan mereka mengutamakan konten berkualitas tinggi dan memiliki mekanisme untuk memblokir spam. Namun, makalah tersebut tidak menyebutkan produk Google mana yang diuji.
Eksperimen ini juga dilakukan pada Maret dan April, sebelum Google pada 15 Mei memperjelas bahwa kebijakan spamnya juga mencakup upaya memanipulasi jawaban AI generatif di Google Penelusuran. Para penulis mengatakan bahwa persentase pastinya dapat berubah seiring pembaruan alat.
Jawaban AI bisa lebih dipengaruhi oleh “di mana konten ditempatkan” daripada “siapa yang menempatkannya”
Yang mencolok dari hasil ini adalah singkatnya waktu yang dibutuhkan—hanya satu minggu—serta fakta bahwa unggahan berasal dari akun anonim. Ini sangat berbeda dari dunia SEO, tempat butuh waktu enam bulan untuk mendongkrak peringkat pencarian. Jika dimuat di situs yang menjadi rujukan pencarian AI, suatu konten bisa mendapat tempat meski minim dukungan yang menguatkan kebenarannya. Struktur ini mungkin tampak sebagai peluang bagi staf humas perusahaan, tetapi sebagai risiko bagi pengguna.
コメント