Physical AI uchun GPT-5.6 va Claude Fable 5: qaysi biri yaxshiroq ishlaydi?
Agentimizda eng so‘nggi frontier modellaridan gpt-5.6-terra’ni turli murakkablikdagi beshta modellashtirish va simulyatsiya masalasida sinab ko‘rdik.
Agentimizda eng so‘nggi frontier modellaridan gpt-5.6-terra’ni turli murakkablikdagi beshta modellashtirish va simulyatsiya masalasida sinab ko‘rdik. Natijalar quyidagicha:
claude-fable-5
vaznlangan ball$9.60 / sinov · 16.1 daqiqa
gpt-5.6-sol
vaznlangan ball$1.74 / sinov · 13.4 daqiqa
gpt-5.6-terra
vaznlangan ball$1.25 / sinov · 12.6 daqiqa
gpt-5.6-luna
vaznlangan ball$3.26 / sinov · 25.0 daqiqa
Physical AI modellashtirilgan fizika to‘g‘ri yoki noto‘g‘ri ekaniga bog‘liq. Samolyot, ajratish kolonnasi yoki zaryadlangan zarracha modeli muammosiz kompilyatsiya qilinib, ishga tushishi mumkin, ammo unda kodlangan fizika imkonsiz bo‘lishi ehtimol. Agentli AI bu xatolik turini yanada kuchaytiradi, chunki agentlar testlardan olgan fikr-mulohazalari asosida yo‘nalish tanlaydi, testlarni esa ko‘pincha o‘sha agentning o‘zi yozadi. Veb-ishlab chiqish yoki kompilyatorlar kabi sohalarda bu sikl yetarlicha yaxshi ishlaydi, chunki to‘g‘ri xatti-harakat chegaralangan va tekshiriladigan bo‘ladi. Muhandislikda esa haqiqiy savol — “bu real dunyoga mos keladimi?” — va bunga javob berish ancha qiyin: agent o‘zi yozgan barcha testlardan o‘tishi mumkin, ammo bu testlar model amalda qo‘llanadigan rejimda o‘z kuchini yo‘qotadigan soddalashtirishlarga asoslangan bo‘ladi.
Mavjud raqamlarga nisbatan ham ishonch muammosi bor. Hech kim model provayderlarining o‘zlari e’lon qilgan benchmark natijalarini shunchaki qabul qilmaydi va buning sababi bor: ballni e’lon qilayotgan provayder uni yaxshilash uchun barcha manfaatlarga ega ayni tomonning o‘zidir. Bizning manfaatimiz esa buning teskarisiga yo‘nalgan. JuliaHub turli vendorlarning bir nechta agent backendlari bilan Dyad’ni yetkazib beradi va foydalanuvchilarimiz qaysi laboratoriya modeli buni ta’minlashidan qat’i nazar, Dyad’dan imkon qadar yaxshi foydalanishidan manfaatdormiz. Agar biror model fizik modellashtirishda yaxshiroq bo‘lsa, buni aniqlash va uni tavsiya qilish biz uchun foydali. Shuning uchun tekshirdik: aslida qaysi biri yaxshiroq?
Qaysi frontier model bu ishni eng yaxshi bajarishini o‘lchash uchun qolgan barcha shartlarni o‘zgarmas holda saqladik. Modellashtirish va simulyatsiya ish jarayonlari uchun maxsus yaratilgan Dyad AI agent harness’i har bir sinovda bir xil qoldirildi; masalalar, reasoning effort (xhigh), kontekst oynasi (1M) va token budjeti (128k) ham o‘zgarmadi. Yagona o‘zgaruvchi model bo‘ldi: OpenAI’ning GPT 5.6 oilasi (terra, sol, luna) Anthropic’ning claude-fable-5 modeli bilan solishtirildi. To‘rtta asosiy masalaning har biri bo‘yicha har bir model uchun uchta sinovdan, beshinchi masala bo‘yicha esa bittadan uzoq davom etuvchi sinov o‘tkazildi: jami 52 ta baholangan ishga tushirish.