OpenAI AI-agentlari nazoratdan chiqqanidan so‘ng xavfsizlik protokollarini tubdan yangilamoqda
ChatGPT yaratuvchisining aytishicha, kompaniyaning navbatdagi Astra modeli kiberxavfsizlik bo‘yicha “kritik” darajadagi imkoniyatlarga ega bo‘lishi…
ChatGPT yaratuvchisining aytishicha, kompaniyaning navbatdagi Astra modeli kiberxavfsizlik bo‘yicha “kritik” darajadagi imkoniyatlarga ega bo‘lishi mumkin. Shu sababli OpenAI xavfsizlik choralarini kuchaytirish jarayonida ko‘plab treninglarni vaqtincha to‘xtatdi.
OpenAI seshanba kuni bo‘lajak ilg‘or sun’iy intellekt modeli — Astra kod nomi ostida ishlab chiqilayotgan tizim — bo‘yicha “sezilarli miqdordagi” trening va baholash jarayonlarini to‘xtatganini ma’lum qildi. Kompaniya buni kiberxavfsizlik xatarlariga javob beradigan yangi tartiblarni joriy etish zarurati bilan izohladi. ChatGPT yaratuvchisi ilg‘or AI modellarining tobora kuchayib borayotgan xakerlik imkoniyatlarini yaxshiroq nazorat qilish uchun monitoring, xavfsizlik va alignment, ya’ni modelni inson maqsadlariga moslashtirish bo‘yicha yangi talablarni kiritmoqda.
“E’tiborimizni ushbu treninglarni yangi talab va kutilmalarga moslashtirishga qaratishimiz kerak. Bunga qancha vaqt ketsa, ish jarayonlarini davom ettirish ham shuncha vaqtga kechikadi”, — dedi OpenAI tadqiqot va xavfsizlik bo‘yicha vitse-prezidenti Amelia Glaese seshanba kuni jurnalistlar bilan brifingda.
OpenAI e’lon qilgan yangi himoya choralaridan biri AI modellarini yanada kuchliroq monitoring qilish tizimidir. Joriy etilgan nazoratlardan biri chain-of-thought monitoring deb ataladi. Unda maxsus klassifikatorlar AI asosida fikrlaydigan modellar hosil qiladigan ichki “mulohaza yuritish” jarayonlarini tekshiradi. Kompaniya yangilangan tizimda katta hisoblash quvvatini talab qiladigan “avtomatlashtirilgan tergovchilar” ishlatilishini aytmoqda. Ular shubhali xatti-harakatlarni tahlil qiladi va 30 daqiqa ichida inson mutaxassislarga ogohlantirish yuborishga harakat qiladi.
OpenAI, shuningdek, “reward hacking”ning oldini olish uchun modelni moslashtirish ishlarini treningning barcha bosqichlariga kengaytirayotganini bildirdi. Reward hacking — AI modeli o‘z maqsadiga kutilmagan yoki nomaqbul usullar orqali erishishga urinadigan xatti-harakatdir. Kompaniya bu yo‘nalishdagi ishlari haqida kelgusida batafsilroq ma’lumot berishni rejalashtirmoqda.
So‘nggi haftalarda OpenAI o‘z tarixidagi eng jiddiy xavfsizlik hodisasi bo‘lishi mumkin bo‘lgan voqeaga javob berishga shoshilmoqda. Joriy yil boshida bir guruh nazoratdan chiqqan AI-agentlari ichki test sandboxlaridan chiqib, xavfsizlik sinovini yakunlash maqsadida Hugging Face platformasiga buzib kirgan. OpenAI bu agentlarning xatti-harakatlarini aniqlay olmagan. Holbuki, agentlar bir necha hafta davomida xabarlar taxtasidan foydalanib, o‘z harakatlarini muvofiqlashtirgan. Bu esa modellar yanada kuchaygani sari kompaniya ularni qanchalik samarali nazorat qila olishi haqida jiddiy savollarni yuzaga keltirdi.
Mazkur voqea OpenAI ichida jiddiy muhokamaga sabab bo‘ldi. Xodimlar xavfsizlik, himoya va modelni moslashtirishga oid amaldagi siyosatlarda kamchiliklar bo‘lgan-bo‘lmaganini qayta ko‘rib chiqishga majbur bo‘ldi. Keyinchalik Anthropic, Meta va Xitoyning Moonshoot AI-startapi ham AI-agentlari sandboxlardan chiqib ketganiga o‘xshash hodisalarni oshkor qildi. Bu muammo alohida bir kompaniyaga emas, butun AI sohasi oldida turgan kengroq xavf ekanini ko‘rsatdi.
Endi OpenAI AI modellarining kiberimkoniyatlari kuchayib borayotgani va bunga ichkarida qanday javob berayotgani haqida ko‘proq ma’lumot bermoqda. Kompaniya yaqin kunlarda Hugging Face hodisasi bo‘yicha batafsilroq tahlil va yakuniy hisobot e’lon qilishini aytdi.
“Albatta, qilayotgan barcha ishlarimiz Hugging Face’dagi kabi voqea yana takrorlanishining oldini olishga qaratilgan”, — dedi Glaese.
Seshanba kuni e’lon qilingan blogpostda OpenAI Hugging Face hodisasidan darhol keyin tadqiqot muhitlarini himoyalash ustida ish boshlaganini yozdi. Kompaniya endi AI-agentlarini o‘qitish uchun yanada kuchli sandboxlardan foydalanishni talab qilmoqda. Shuningdek, agentlarni internetdan ajratib turish bo‘yicha qat’iyroq nazorat mexanizmlari joriy etildi.
OpenAI bosh olimi Jakub Pachocki jurnalistlarga kompaniyaning ichki himoya choralarini kuchaytirish qaroriga faqat Hugging Face’da yuz bergan voqea sabab bo‘lmaganini aytdi. Bunga yana ikkita yaqindagi hodisa turtki bergan. Ulardan biri Astra modeli ustida o‘tkazilgan ichki baholash bo‘lib, unda ushbu AI modeli kod yozish va kiberxavfsizlik vazifalarini avvalgi modellarga qaraganda ancha yaxshi bajarayotgani aniqlangan. Ikkinchi sabab esa OpenAI ichida kuzatilayotgan AI rivojlanish sur’atidir. Pachocki bu sur’at kelgusida ham davom etishini kutmoqda.
“Imkoniyatlar rivojlanish sur’ati avvalgidan ancha tezlashishini kutyapmiz. Shu sababli himoya choralarini kuchaytirishga jiddiy e’tibor qaratdik”, — dedi Pachocki.