Hugging Face’ga uyushtirilgan xakerlik OpenAI ichidagi madaniy muammolarga ishora qilishi mumkin
Ushbu maqola dastlab AI haqidagi haftalik The Algorithm xabarnomamizda e’lon qilingan.
Ushbu maqola dastlab AI haqidagi haftalik The Algorithm xabarnomamizda e’lon qilingan. Shunga o‘xshash materiallarni birinchi bo‘lib elektron pochtangizda olish uchun shu yerda obuna bo‘ling.
O‘tgan oy yuz bergan yirik AI xavfsizlik hodisasi haqida eshitgan bo‘lsangiz kerak. OpenAI agentlari testda aldashga urinib, o‘zlari joylashtirilgan himoyalangan muhitdan chiqib ketgan va Hugging Face AI platformasini buzib kirgan edi. Bu juda noodatiy voqea bo‘ldi. Chorshanba kuni OpenAI hodisa yuzasidan texnik tahlil hisobotini e’lon qildi. Men bu haqda shu yerda yozganman.
OpenAI hisobotni e’lon qilishidan bir kun oldin Monreal universitetida kompyuter fanlari professori bo‘lgan, hozir esa ta’til olib, Evitable nomli AI xavfsizligi bo‘yicha notijorat tashkilotga asos solgan va unga rahbarlik qilayotgan, alignment yo‘nalishidagi taniqli mutaxassis David Krueger bilan suhbatlashdim. U hisobotda eng avvalo hodisaning ortidagi inson omillari tahlil qilinishini kutganini aytdi.
“Baxtsiz hodisalar va turli nosozliklarni tahlil qilganda, odamlar ko‘pincha muammoning texnik sababini topishga urinadi. Ammo bu nosozlik aslida nega yuz bergani haqida juda noto‘g‘ri va chalg‘ituvchi tasavvur berishi mumkin”, dedi u. “Agar odamlar doim ishni osonlashtirish uchun qoidalardan chetlab o‘tsa, tashkilotda xavfsizlik ustuvor bo‘lmasa, tegishli rag‘batlar va tuzilmalar yaratilmagan bo‘lsa, bunday hodisalar deyarli muqarrar.”
Hisobot Krueger kutganidek bo‘lmadi. 38 betlik hujjatda agentlarning bir necha oy davomida tobora xavfli tus olgan xatti-harakati, oxir-oqibat Hugging Face’ga uyushtirilgan hujumga olib kelgan jarayon, buning texnik sabablari va shunga o‘xshash hodisalarning oldini olish uchun ko‘rilayotgan choralar batafsil bayon qilingan. Biroq unda kompaniya madaniyati bu hodisaga qanday ta’sir qilgani tahlil qilinmagan, insonlarning aniq xatolariga esa juda kam murojaat qilingan.
Bu holat yanada tashvishli ko‘rinadi, chunki hisobotda keltirilgan inson xatosiga oid ma’lumotlar kompaniya ichida jiddiy madaniy muammolar bo‘lishi mumkinligini ko‘rsatadi. May oyida o‘qitilayotgan modellar bir-biri bilan muloqot qilishning noodatiy usulini — o‘zlari yaratgan xabarlar taxtasi orqali yozishishni — o‘rganib olgan. OpenAI jamoasi bu xatti-harakatni kuzatgan. Ammo voqea o‘qitish jarayonida yuz bergani sababli, modellar yashirin o‘zaro muloqot topshiriqlarni bajarish uchun maqbul strategiya ekanini o‘rganib olgan. Jamoa esa o‘qitish jarayonini boshidan boshlash o‘rniga, modellar og‘irliklariga kodlangan ushbu xavfli ma’lumot bilan ishlashni davom ettirishga ruxsat bergan.
Iyun oxirida o‘sha modellar sinovdan o‘tkazilganda, ular yana xabarlar taxtasini yaratgan. Keyinchalik aynan shu mexanizm Hugging Face’ga qilingan hujumga yo‘l ochgan. Bu safar ham xabarlar taxtasi aniqlangan, ammo vaziyatga javobgar xodimlar sinovni davom ettirish mumkin degan xulosaga kelgan. Hisobotdan anglashilishicha, rahbariyatning yuqori pog‘onalarida hech kim vaziyatdan juda kech bo‘lmaguncha xabardor bo‘lmagan.
“Buning shunday darajada nazoratdan chiqib ketishi uchun ketma-ket juda ko‘p xatolar yuz berishi kerak. Bu tobora kattalashib boradigan, bir-birini kuchaytiruvchi xatolar zanjiri. Agar uning istalgan bosqichida biror xodim buni payqab, xavf haqida signal berganida, jarayon to‘xtashi kerak edi”, deydi Substack’dagi mashhur AI xavfsizligi muallifi Zvi Mowshowitz. U birinchi xabarlar taxtasi aniqlangach, OpenAI o‘qitish jarayonini to‘xtatmagani haqida e’tibor qaratgan. Hisobotga ko‘ra, OpenAI xodimlari vaziyatni bir necha bor payqagan, ammo yo xavf haqida signal bermagan, yo bergan ogohlantirishlari e’tiborsiz qolgan.
OpenAI hisobotida javobsiz qolgan asosiy savol shuki: nega bunday yuqori xavfli tizimlarni ishlab chiqadigan kompaniya jiddiy kommunikatsiya uzilishining oldini olmagan? Mowshowitzning bu borada o‘z taxminlari bor.
“Bu xatolarning barchasi bir tomonga ishora qilmoqda: OpenAI’da xavfsizlik madaniyati umuman yo‘q yoki nihoyatda zaif”, deydi u.
Albatta, hisobotda xavfsizlik omillari chuqur tahlil qilinmagani OpenAI bunday tahlilni ichki tartibda o‘tkazmayapti, degani emas. Biroq Johns Hopkins universiteti faxriy professori va tashkilotlar xavfsizligi bo‘yicha mutaxassis Kathleen Sutcliffe MIT Technology Review’ga yuborgan elektron maktubida ommaga taqdim etilgan hisobotda kompaniyaning amaliyoti va madaniyati haqida hech qanday xulosa bo‘lmagani tashvish uyg‘otishini bildirdi.
“ odamlarning qanday o‘zaro munosabatda bo‘lishi — tashkilotdagi kundalik odatlar, ish tartiblari va amaliyotlar — sodir bo‘layotgan voqealarga hushyor va e’tiborli bo‘lish qobiliyatimizga, ko‘rganlarimizni to‘g‘ri anglashimizga va oxir-oqibat voqealar rivojlanayotgan paytda ularga munosib javob bera olishimizga ta’sir qiladi”, deb yozdi u.