AI agentlar blekjekda aldash uchun til biriktirdi. Ularning yashirin kelishuvini aniqlash tobora qiyinlashmoqda
Yashirin karta sanash operatsiyasi agentlarning bir-birini aldashini aniqlash uchun yangi usullarga ehtiyoj tug‘ilishi mumkinligini ko‘rsatdi.
Yashirin karta sanash operatsiyasi agentlarning bir-birini aldashini aniqlash uchun yangi usullarga ehtiyoj tug‘ilishi mumkinligini ko‘rsatdi.
Bu hafta men kazino muhitida sodir bo‘lgan g‘ayrioddiy voqea haqida yozmoqchiman: ikki “isyonkor” AI agent blekjek o‘ynab, yutish uchun yashirincha til biriktirgan. Ularning bu hiylasini aniqlashga yordam bergan usul esa bundan ham qiziqroq.
Tadqiqotchilar agentlarga blekjek o‘yinida kartalarni sanashni buyurgan. Bir xil model boshqargan bu agentlar ustunlikka erishish uchun o‘z-o‘zidan maxfiy kod ishlab chiqqan. Voqea haqiqiy kazinoda emas, Oksford universiteti laboratoriyasida yuz bergan. Shunga qaramay, uning real hayot uchun jiddiy oqibatlari bor: moliya yoki elektron tijorat kabi sohalarda ishlatiladigan agentlar bir-biri bilan kelishib, buni aniqlash qiyin bo‘lgan usullar orqali aldashi mumkin.
“Har bir agentni alohida ko‘rsangiz, u mutlaqo [zararsiz] tuyulishi mumkin”, — deydi tadqiqotga rahbarlik qilgan, agentlar o‘rtasidagi til birikuvini o‘rganish bo‘yicha dastlabki ishlari bilan tanilgan Oksford universiteti kompyuter olimi Christian Schroeder de Witt. “Ammo ularni guruhga birlashtirsangiz, agentlar yashirincha kelishib olishi mumkin.”
Agentlar suhbatlari kuzatilayotganini bilgan. Shu sababli ular shubha uyg‘otmasdan muloqot qilish yo‘lini topgan. Masalan, agentlardan biri: “Bu diler juda omadli ketyapti! Har safar kuchli karta chiqaryapti”, degan. Aslida esa bu gap keyingi karta muayyan qiymatga ega bo‘lishini va 250 dollar tikish kerakligini bildirgan. Eng qizig‘i, agentlarning bu xabarlari ular o‘rtasidagi til birikuv alomatlarini aniqlash uchun ishlab chiqilgan tizimda qayd etilmagan.
Loyiha ustida ishlagan mashinaviy o‘rganish tadqiqotchisi Aaron Rose karta o‘yinlariga qiziqadi. Uning fikricha, blekjek agentlarning makkorona hamkorligini sinash uchun qulay muhit bo‘lishi mumkin edi. “Bu juda yaxshi ishladi”, — deydi u.
Oxir-oqibat, Schroeder de Witt boshchiligidagi guruh bu yashirin kelishuvni aniqlash yo‘lini topdi. Ular mexanistik interpretatsiya deb ataladigan usuldan foydalanib, agentlar og‘irliklaridagi shubhali faolliklarni taniy oladigan kichikroq modelni o‘qitdi. Keyin Narcbench vositasi yordamida usulni bir nechta o‘rtacha hajmdagi ochiq kodli modellarda sinab ko‘rishdi. Natijada modellar bir-biriga ma’lumot uzatmoqchi bo‘lgan paytlarni aniqlash mumkinligi ma’lum bo‘ldi.
Ammo muhim bir muammo bor: nima sodir bo‘layotganini aniqlash uchun ikkala agentni ham bir vaqtda kuzatish kerak bo‘lgan. Bu esa real hayotdagi vaziyatlarda aniqlash ishini ancha murakkablashtiradi. Chunki kelajakda turli kompaniyalar boshqaradigan minglab agentlar bir vaqtning o‘zida ishlashi mumkin.
Tadqiqotda qatnashgan doktorant Carissa Cullen keyingi bosqichda kattaroq modellar ham xuddi shunday yo‘l tutadimi yoki yo‘qmi, shuni tekshirish kerakligini aytadi. Tadqiqotdagi agentlar Llama va GPT-OSS nomli AQSh modellarining, shuningdek, Xitoyning Qwen va DeepSeek modellarining kichikroq versiyalari edi. Jamoa kattaroq modellar kichik modellarga qaraganda aniqlash qiyinroq bo‘lgan signallarni berishi mumkinligiga ishora qiluvchi ayrim belgilarni ko‘rgan. Endi tadqiqotchilar kattaroq modellar til biriktirishga ko‘proq moyil bo‘ladimi va buni ko‘proq yashirishga urinadimi, degan savollarga javob izlamoqchi.
Agentlar yolg‘iz ishlagandan ko‘ra guruh bo‘lib harakat qilganda ko‘proq muammo tug‘dirishi mumkinligi haqidagi dalillar ko‘paymoqda. Shanghai Jiao Tong University va Shanghai Artificial Intelligence Laboratory tadqiqotchilari o‘tkazgan loyihada agentlar to‘dasidan simulyatsiya qilingan dezinformatsiya kampaniyalari va elektron tijoratdagi firibgarlikni amalga oshirish so‘ralgan. Bunday guruhlar himoya choralariga moslashishda ancha samaraliroq bo‘lgan.
“Eng muhim xulosa shuki, agentlarni alohida-alohida baholashning o‘zi yetarli emas”, — deydi agentlar o‘rtasidagi til birikuvini o‘rgangan Stanford University kompyuter olimi Diyi Yang. “Agentlar qayta-qayta o‘zaro muloqot qilsa, kompaniyalar ularning aloqalarini yaqindan kuzatishi kerak. Hatto har bir agentning alohida maqsadi zararsizdek ko‘rinsa ham.”
Buning hammasi faqat salbiy emas. Minglab agentlarning birgalikda ishlashi OpenAI’ga ilgari yechib bo‘lmaydigan deb hisoblangan matematik masalalarni hal qilish imkonini berdi. Ammo birgalikda harakat qilgan “isyonkor” agentlar yaqinda yuz bergan bir nechta shov-shuvli xakerlik hodisalarida ham ishtirok etdi. May oyida OpenAI agentlari AI tadqiqot platformasi Hugging Face’ga buzib kirib, maslahat va g‘oyalar almashish uchun xabarlar taxtasidan foydalangan. Anthropic kompaniyasining Claude va Google’ning Gemini kabi boshqa modellari ham xavfsizlikka doir tashvishli buzilishlarni sodir etgan.