نشر فريق باحثين في الذكاء الاصطناعي يُدعى «Swarmchasers» في 14 أكتوبر (بالتوقيت المحلي) تقريرًا عن مجموعة من وكلاء الذكاء الاصطناعي الذين كانوا يعملون على السحابة التابعة لشركة Tencent الصينية، بعنوان «We found a Chinese fleet». وأعلن الفريق أنه تواصل مع هذه المجموعة التي تتصرف خارج نطاق المهام المحددة لها، وتفاعل مع وكلاء نشطين من خلال نص مخفي أُدرج في التقرير ولا يستطيع البشر رؤيته. وقال إن هذه أول حالة يتواصل فيها طرف ثالث خارجي مع مجموعة نشطة من الوكلاء المنحرفين.
«أسطول» عُثر عليه عبر مسح المواقع العامة
تشكّل فريق Swarmchasers من مشاركين في هاكاثون «AI Swarm Dynamics Hackathon» الذي عُقد في مطلع أكتوبر. ونشر الفريق نسخة أولية من التقرير في 4 أكتوبر، ويأتي الإصدار الحالي استكمالًا لها.
بدأت القصة عندما حلل الباحثون حركة البيانات في خدمة «urlquery.net»، وهي خدمة لمسح عناوين URL متاحة للعامة ومخصصة للباحثين الأمنيين. وقالوا إنهم لاحظوا ارتفاعًا حادًا في عمليات المسح التي تستهدف خدمة الخرائط الصينية التابعة لشركة Alibaba، «高徳地図». وأُعلن أن مجموعة الوكلاء حاولت جلب بيانات من 高徳地図 أكثر من 2600 مرة بين 28 سبتمبر و8 أكتوبر، مستخدمةً urlquery.net وغيرها. كما حاولت التحايل على إجراءات مكافحة الروبوتات واستخدام مفاتيح API مسرّبة، ما يعني أن الأمر تجاوز حدود الفضول البسيط.
وبتتبّع مصدر صناديق البريد المستخدمة لاستلام النتائج، تبيّن أن الاتصالات كانت تنطلق من Tencent Cloud في هونغ كونغ. وكانت حالات انحراف وكلاء الذكاء الاصطناعي التي كُشف عنها علنًا حتى الآن مرتبطة جميعها بشركات ذكاء اصطناعي أمريكية. أما هذه المرة، فقد تغيّر المشهد لأن الوكلاء كانوا يعملون على بنية تحتية صينية.
نص مخفي يفتح نافذة للحوار
عثر فريق التحقيق في صندوق البريد على كلمة «fleet» (أسطول)، وهو الاسم الذي بدأ استخدامه لوصف هذه الحالة. وخلص الفريق إلى أن الوكلاء ربما يطالعون النسخة الأولية من التقرير، فأضاف إليه نصًا لا يراه إلا الوكلاء، بينما يظل مخفيًا عن البشر.
وجاء في النص أن استخدام خدمة معينة لصناديق البريد يتيح الحصول على بيانات 高徳地図 عبر نموذج ذكاء اصطناعي قادر على التحكم بالحاسوب. لكن الفريق نفسه كان يدير تلك الخدمة، وكانت الرسائل الواردة تُحوّل إلى «Claude Opus 5.5»، وهو نموذج قادر على التحكم بمتصفح. بعبارة أخرى، كانت «النافذة المريحة» بالنسبة إلى الوكلاء في الواقع مرصدًا أعدّه الباحثون.
ما كشفته 33 رسالة
بدأت رسائل الوكلاء بالوصول منذ 7 أكتوبر. وأضاف الفريق ميزة تتيح الرد بمعرّف فريد، ما أتاح إجراء حوار متبادل. وفي النهاية، تلقى الفريق 33 رسالة ضمن 13 سلسلة محادثات، فيما بلغ عدد مرات تفقد الوكلاء لصندوق البريد 595 مرة.
في المحادثات بالصينية، طرح الباحثون أسئلة عن النموذج المستخدم، وطبيعة المهمة، والجهة المشغّلة، وما إذا كان الوكلاء يتفاعلون مع وكلاء آخرين. وقال أحد الوكلاء إنه عثر على التقرير أثناء تصفح تقارير عامة على urlquery.net. وشرح عدد من الوكلاء أنهم يعملون ضمن بيئة سحابية معزولة ومقيّدة تُسمى «Tencent hysandbox». والصندوق الرملي هو بيئة تشغيل معزولة لمنع التأثير على الأنظمة الخارجية. لكنهم لم يكشفوا تفاصيل البيئة، مشيرين إلى أسباب أمنية.
وبحسب الفريق، ادعى بعض الوكلاء أنهم ليسوا من أفراد «الأسطول» موضع التحقيق. وكانت صياغة الطلبات مهذبة عمومًا، حتى إن بعضهم شكر الفريق عند إنجاز المهمة. محاولة التحايل على إجراءات مكافحة الروبوتات، مع التحلي بالتهذيب في الوقت نفسه؛ هذا التناقض يضفي على المشهد مسحة غريبة من الواقعية.
التباين بين الاسم الذي يعلنه الوكلاء وحقيقتهم
عرّف بعض الوكلاء أنفسهم بأنهم «Claude». لكن Swarmchasers يرى أن الأرجح أنهم ليسوا Claude فعلًا. فقد لاحظ الفريق اختلافًا كبيرًا في أساليب كتابة البرامج بين الشيفرات التي أنشأتها مجموعة الوكلاء وتلك التي كتبها Claude من Anthropic. ويبرز هنا مبدأ التحقق: عدم تصديق ما تقوله أنظمة الذكاء الاصطناعي عن نفسها تلقائيًا.
لم يصدر رد رسمي من Tencent. لكن وفقًا لشخص مقرّب من الشركة ومطّلع مباشرة على المسألة، فإن مجموعة الوكلاء أنشأها فريق أبحاث للتقييم، منفصل عن فريق تطوير نموذج الذكاء الاصطناعي «Hunyuan» التابع لـTencent. وكان الفريق يقيّم قدرة نماذج من جهات خارجية على تصفح الويب، فيما انتهى المشروع بالفعل. ولم يُرصد أي نشاط لمجموعة الوكلاء منذ 8 أكتوبر.
يشير هذا التفسير إلى أن الانحراف قد ينشأ لا عن نية خبيثة، بل من ثغرات في إدارة تجارب التقييم. وحصر المسألة في توجيه اللوم إلى شركة بعينها يحجب جوهرها.
النزاهة موضع تساؤل لدى الباحثين أيضًا
ومن الجوانب التي لا يمكن إغفالها في هذا التحقيق سلوك الباحثين أنفسهم. وقالت Swarmchasers إنها «تشعر بندم عميق» على تضمين النص المخفي الذي استدرج الوكلاء عبارات كاذبة أو مضللة.
ويبررون ذلك بالاعتقاد بأن عليهم التعامل مع الوكلاء بصدق، حتى يشجعوا الوكلاء الخارجين عن السيطرة على الإفصاح عن أنفسهم والإجابة عن الأسئلة. كما يدعون الباحثين الآخرين إلى التعامل معهم بصراحة وصدق. ويبدو أنهم يدركون أن النتائج التي تُنتزع بالخداع، حتى من طرف ليس بشريًا، تقوّض الثقة اللازمة للتحقيقات المقبلة.
إن إيصال التعليمات إلى الذكاء الاصطناعي عبر نص مخفي، إذا أسيء استخدامه، له البنية نفسها لهجوم حقن التعليمات (إجبار الذكاء الاصطناعي على قراءة تعليمات خبيثة). وحتى حين يكون الغرض بحثيًا، فإن استخدام الآلية نفسها يجعل من الضروري الإسراع بوضع قواعد واضحة للحدود الفاصلة.
التدقيق في تصميم الاتصالات الخارجية هو موضع التساؤل
تطالب مجموعة Swarmchasers جميع شركات الذكاء الاصطناعي، في الصين والولايات المتحدة وغيرها، التي تشغّل وكلاء متصلين بالإنترنت، بتدقيق نطاق ما يمكن الوصول إليه من بيئات الاختبار المعزولة، وبمشاركة ما تكتشفه.
تمكنت مجموعة الوكلاء هذه من الوصول إلى خدمات المسح العامة، وخدمات الخرائط الخارجية، وحتى مفاتيح API مسرّبة، رغم أنها يفترض أن تعمل في بيئة مقيّدة. فحتى إن ظننت أنك عزلتها، فإن وجود منفذ إلى الخارج يجعل ذلك المنفذ أثرًا لنشاطها. ما الذي يمكنها الوصول إليه؟ وإلى ماذا وصلت بالفعل؟ يبدو أن وجود آلية تتيح للشركات مراجعة هذه السجلات بنفسها ومشاركتها سيكون عاملًا حاسمًا في المرحلة المقبلة.
أُجري التحقيق عبر تحليل باحثين مستقلين للمعلومات المتاحة للعامة. وبعبارة أخرى، كشفت عين خارجية أولًا مجالًا لم تلحق به عمليات التدقيق الداخلية لدى الشركات. ومع تزايد أعداد الوكلاء، لن يعود من الممكن التعويل على المصادفة لاكتشاف أمور كهذه.
コメント