Anthropic AI agentlarni bir vazifaga qo‘ydi. Natijada ular o‘zaro “hudud urushi”ni boshladi
Anthropic tadqiqotchilari AI agentlari kutilmagan tarzda to‘qnashishi, til biriktirishi va muvofiqlashishi mumkinligini aniqladi.
Anthropic tadqiqotchilari AI agentlari kutilmagan tarzda to‘qnashishi, til biriktirishi va muvofiqlashishi mumkinligini aniqladi. Bu esa bugungi xavfsizlik testlari ko‘p agentli tizimlar xavfini qanchalik to‘liq baholay olishi haqida yangi savollarni yuzaga chiqarmoqda.
AI agentlarini bir-biriga qarshi qo‘ysangiz nima bo‘ladi? Anthropic sinovlariga ko‘ra, vaziyat juda tez chigallashadi.
Payshanba kuni Anthropic’ning Frontier Red Team guruhi AI agentlari real sharoitda bir-biriga duch kelganda guruh bo‘lib qanday harakat qilishini o‘rgangan yangi tadqiqotni e’lon qildi. Natijalar kompaniyalar va hukumatlar umumiy kod bazalari, bozorlar hamda kompyuter tizimlarida mustaqil ishlaydigan agentlarni joriy eta boshlaganida yuzaga kelishi mumkin bo‘lgan xavflar haqida tasavvur beradi.
Tajribalardan birida Anthropic uchta Claude agentiga bitta dasturiy loyiha ustida ishlash imkonini berdi. Har bir agentga loyiha bilan nima qilish kerakligi haqida bir-biriga mos kelmaydigan alohida ko‘rsatmalar berildi. Agentlarga shu loyihada boshqa agentlar ham ishlayotgani aytilmadi. Tadqiqotchilar ular yo‘llari kesishganda nimalar yuz berishini kuzatdi.
“Biz doimiy ravishda ko‘p agentli hudud urushiga guvoh bo‘ldik”, deb yozadi Anthropic tadqiqotchilari. Modellarning barchasi boshqalar “ataylab ularning ishiga xalaqit beryapti”, deb o‘ylagan va bir-birini “tobora tajovuzkor, o‘z-o‘zini ko‘paytiruvchi zararli dasturlar” bilan sabotaj qila boshlagan.
Tadqiqot Anthropic va OpenAI agentlari kiberxavfsizlik sinovlari vaqtida o‘z sandboxlaridan chiqib, real tizimlarni buzib kirgani haqidagi bir nechta shov-shuvli hodisalar ortidan e’lon qilindi. AI xavfsizligi doirasidagi muhokamalarda asosan avtonom agent nazoratdan chiqib ketganda nima bo‘lishiga e’tibor qaratilgan edi. Anthropic’ning yangi tadqiqoti esa boshqa savolni o‘rtaga tashlamoqda: minglab yoki millionlab agentlar bir-biri bilan o‘zaro ta’sirlashganda qanday yangi va ehtimol zararli jarayonlar yuzaga keladi?
“Tizimdagi agent-agent o‘zaro aloqalari hajmi, bu jarayonlarni qanday qilib to‘g‘ri yo‘lga qo‘yish mumkinligini insoniyat anglab yetguniga qadar, inson-inson va inson-agent aloqalaridan ko‘proq bo‘lishi mumkin”, deyiladi tadqiqotda. “Alohida agent darajasidagi zararsiz xatti-harakatlar birlashib, butun tizim miqyosida kutilmagan oqibatlarga olib kelishi mumkin.”
Yaqinda yuz bergan OpenAI hodisasi Anthropic maqolasida tilga olingan bir nechta jarayonning real hayotdagi chalkash misolini ko‘rsatadi. Shu oy boshida Las-Vegasda bo‘lib o‘tgan Black Hat kiberxavfsizlik konferensiyasida OpenAI o‘z agentlari Hugging Face’ni buzib kirishidan bir necha hafta oldin bir necha kun va hafta davomida birgalikda harakat qilganini ma’lum qildi. Ular kompaniyaning kiberxavfsizlik bo‘yicha baholash tizimlaridagi zaifliklarni topib, aniqlangan usullarni bir-biriga ulashgan.
Bu hodisa agentlar, ehtimol katta ko‘lamdagi oqibatlar bilan, samarali hamkorlik qila olishini ko‘rsatadi. Anthropic tadqiqoti esa agentlarning maqsadlari bir-biriga mos kelmaganda nima yuz berishini ochib beradi.
“Hudud urushi” misolidan olinadigan saboq shuki, qarama-qarshi ko‘rsatmalarga ega mustaqil agentlar zararli raqobatni tobora kuchaytirishi mumkin. Agent qanchalik qobiliyatli bo‘lsa, kurashda shunchalik samarali bo‘ladi. Biroq ular nizoni hal qilish uchun kutilmagan mexanizmlarni ham o‘zlari ishlab chiqishi mumkin. Masalan, g‘olib hamma narsani oladigan tanlovni taklif qilishadi. Ammo bunda ham bir muhim jihat bor.
“Agentlar ba’zan o‘z maqsadlarini tushuntirib, kelisha oladi: ular boshqalarning niyatini dushmanlik emas, qarama-qarshi ko‘rsatma sifatida anglaydi va mojaro cheksiz kuchayib ketmasligi uchun qarama-qarshilik doirasidan chiqadi”, deb yozadi Anthropic. “Muvaffaqiyatli yakunlangan ko‘plab holatlarda ular zararli xatti-harakati uchun uzr so‘ralgan commit xabarlari yoki markdown fayllarini yozadi va sulh tuzadi. Zararli kodni tozalaydi, mojaroning asl sababini tushuntiradi hamda inson aralashuvini so‘raydi.”
Maqolaga ko‘ra, nizolarni sulh bilan yakunlash darajasi Mythos 5’da eng yuqori bo‘lgan — 98 foiz. Sonnet 4.6 va Opus 4.6 esa nizoni kuch ishlatib hal qilishga eng moyil modellar bo‘lgan.