Hugging Face siyosat bo‘yicha rahbari: AI’ga o‘rnatilgan baholovchilar oson yechim bo‘la olmaydi
AI laboratoriyalari o‘z obro‘sini modellarni taqqoslashga asoslangan mezonlarga tikmoqda.
AI laboratoriyalari o‘z obro‘sini modellarni taqqoslashga asoslangan mezonlarga tikmoqda. Bu tizimlar go‘yoki xolis va aniq bo‘lib, bir AI mahsuloti boshqasidan yaxshiroqmi-yo‘qmi, shuni o‘lchash uchun yaratilgan. Biroq bunday baholashlar ortidagi usullar murakkab va hali to‘liq shakllanib ulgurgani yo‘q, dedi Hugging Face kompaniyasining siyosat bo‘yicha bosh direktori Irene Solaiman o‘tgan hafta TechCrunch Disrupt tadbiridagi muhokamada.
Uning so‘zlariga ko‘ra, kelajakda sanoat bu testlarga tayanmoqchi bo‘lsa, baholash usullari yanada izchil va umumiy qabul qilingan ilmiy yondashuvga aylanishi kerak.
Shu nuqtayi nazardan, hozir e’lon qilinayotgan testlarga qay darajada ishonish mumkin?
“‘Ishonch’ juda og‘ir ma’noga ega so‘z, — dedi Solaiman. — Natijalarga ishonish mumkinmi, degan savolning muhim qismi shundan iborat: baholash natijalarini qayta takrorlay olasizmi? Modelning o‘ziga kerakli darajada kira olasizmi? Aynan shu yerda ochiq model og‘irliklari juda katta ahamiyat kasb etadi”.
Model baholashlarida natijalarni qayta tiklash imkoniyati uzoq vaqtdan beri eng murakkab masalalardan biri bo‘lib kelmoqda. Bu mavzu sanoatda hamon qizg‘in bahslar markazida turibdi.
Alohida testning qanchalik ishonchli ekani bilan bir qatorda, uning boshqa baholashlar bilan qanday taqqoslanishi ham muhim savol bo‘lib qolmoqda.
“Bu soha hali rivojlanish bosqichida. Baholashlarni bir-biri bilan mazmunli tarzda qanday taqqoslashni hozircha bilmaymiz”, — dedi Solaiman.
“Ular nisbatan tez samarasiz bo‘lib qoladi, bizda esa zarur darajada rivojlangan ekotizim hali yo‘q, — deya qo‘shimcha qildi u. — Hozir AI tizimlariga ichki baholovchilarni joriy etadigan ekotizimga katta ehtiyoj bor. Ammo turli vazifalarda kimni samarali baholovchi deb hisoblash mumkinligini belgilaydigan mezonlar ancha ko‘proq standartlashtirilishi kerak”.
Ichki baholovchilar g‘oyasi, ya’ni go‘yoki “xolis” bo‘lgan mustaqil uchinchi tomon mutaxassislarini AI tashkilotlarining o‘ziga joylashtirish taklifi so‘nggi bir necha oyda ommalashdi. Bunga AI laboratoriyalarida xavfsizlik bilan bog‘liq ko‘plab hodisalar yuz berib, texnologiyalarning ehtimoliy zarari borasidagi xavotirlar kuchaygani sabab bo‘ldi. Hugging Face ham shunday hodisalardan birining nishoniga aylangan edi.
Model xavfsizligi bilan bog‘liq muammolarni aniqlash va kamaytirish uchun hukumatning faol tartibga solish choralarini kutish o‘rniga, laboratoriyalar uchinchi tomon baholovchilari yechimini ilgari surmoqda. Biroq bunday baholovchilar amalda qanchalik xolis yoki samarali bo‘lishi borasida shubhalar saqlanib qolmoqda.
Anthropic kompaniyasining birinchi baholovchi sifatida Accenture’ni yollagani jamoatchilikda ancha norozilik uyg‘otdi. Ayrim tanqidchilar konsalting kompaniyasi bunday vazifani bajarish uchun yetarli malakaga egami, degan savolni masxara bilan o‘rtaga tashladi.
Endilikda baholash faqat modelning o‘zini sinashdan butun tizimni tekshirishga o‘tmoqda. Bunda model bilan birga harness va agent ham baholanadi. Harness — foydalanuvchi modelga kirish uchun foydalanadigan vosita — modelning ishlash natijasiga katta ta’sir ko‘rsatadi. Solaimanning aytishicha, kuchsizroq model yaxshi harness yordamida frontier modeldan ham yaxshiroq natija ko‘rsatishi mumkin.