OpenAI, Anthropic we Google ýaly üç sany esasy AI kompaniýasynyň flagman modelleri bilelikde bäsleşende, haýsysy robotlary has gowy dolandyrýar?
20-nji oktýabrda, Mifeng Tehnologiýa, Hugging Face, NVIDIA, Sinhua Uniwersiteti ýaly dünýäniň 20 töweregi ýokary okuw mekdebi, kompaniýasy we ylmy-barlag edarasy tarapyndan bilelikde esaslandyrylan embodiý edilen arena RoboColiseum bu tapgyryň bahalandyrma netijelerini yglan etdi: Claude Opus 5.5 dört sany flagman modeliň arasynda umumy sanawda birinji orny eýeledi, GPT-6 Astra ondan soň ikinji boldy.
Aýratyn bölümlere seredenimizde, dört sany flagman modeliň arasynda GPT-6 Astra buýruklara eýermek we umumy päsgelçiliklere uýgunlaşmak boýunça öňde barýar, buýruklara eýermek boýunça bahasy 99.35-e ýetdi; Opus bolsa giňişlik düşünjesi we umumy operasiýalar boýunça has gowy netije görkezdi we ähli tapgyrlardaky bahalandyrmalarda iň az token sarp edip, flagman toparynda umumy birinji orny aldy. Surat hiliniň päsgelçilige sezewar edilen synaglarynda GPT-6.1 Sol beýleki üç modelden görnetin yza galdy, bu bolsa dürli modelleriň wizual maglumatlaryň üýtgemegine garşy duruklylygynyň tapawudyny görkezýär.
Emma bu tapgyryň umumy reýtinginde ilkinji iki orny henizem embodiý strategiýa modelleri eýeledi, olar esasanam umumy operasiýa ölçeginde artykmaçlygyny saklaýarlar.
Bu bilelikdäki bäsleşik pudaga umumy uly modeller bilen embodiý strategiýa modelleriniň başarnyk artykmaçlyklaryny we gowşak taraplaryny anyk görmek üçin göni deňeşdirme berýär.
RoboColiseum buýruklara eýermek, giňişlik düşünjesi, päsgelçilige uýgunlaşmak we umumy operasiýalar boýunça dört görnüşli başarnyk kiçi sanawyny, 78 sany ýokary takyklykly simulýasiýa bahalandyrma meselesini hödürleýär, bu hem modelleriň aýratyn bölümlerdäki netijelerini görkezýär, hem meseläniň ýerine ýetiriliş ädimlerini we şowsuzlyk ýerlerini ýazga alýar, işläp düzüjilere modelleriň başarnyk gowşak taraplaryny çalt kesgitlemäge kömek edýär.
Bilelikde esaslandyryjy hökmünde Mifeng RoboColiseum-a ýokary takyklykly obýekt aktiwlerini we simulýasiýa ssenariýlerini üpjün edýär, çylşyrymly robot operasiýa meseleleriniň bahalandyrma gurşawyny gurmaga goldaw berýär we dürli obýekt özara täsirleri, giňişlik ýerleşişi we daşky gurşaw şertlerinde model başarnyklaryny synamak üçin esasy çeşmeleri hödürleýär.
Modelleriň simulýasiýadaky netijeleriniň hakyky operasiýa netijelerini görkezip biljekdigi hem bahalandyrmanyň açary bolup durýar. Platformanyň yglan eden hakyky synag netijelerine görä, RoboColiseum simulýasiýa bahalandyrmasynyň hakyky enjamda ýerleşdirme bilen baglanyşygy 89.5%-e ýetýär, şol bir modeliň simulýasiýa we hakyky dünýädäki bahalandyrma tapawudy 10%-den az, bu işläp düzüjilere hakyky enjam synaglaryna girmänkä model saýlamak we meseläni kesgitlemek üçin salgyt berip biler.
Mifeng Tehnologiýa "doly, gowy we çalt" maglumat üpjünçilik ulgamyny hödürleýär, bu hakyky enjam, simulýasiýa we bedensiz üç sany esasy maglumat nusgasyny öz içine alýar. Simulýasiýa babatynda Mifeng obýekt aktiwleri we gurşaw aktiwleri iki görnüşli çeşmäni üpjün edýär, dürli gündelik zatlary we içeri ssenariýleri öz içine alýar, şeýle hem ssenariýeni täzeden gurmak, hünärmen traýektoriýa maglumatlaryny almak we bahalandyrma netijelerini wizuallaşdyrmak ýaly mümkinçilikleri hödürleýär, model toparlaryna dürli türgenleşik we bahalandyrma geçirmäge kömek edýär.
Coliseum aslynda Gadymy Rimiň tegelek söweş meýdanyny aňladýar, RoboColiseum muny obraz hökmünde ulanyp, köp ölçegli ulgamlaýyn bahalandyrma ulgamyny gurýar, hakyky enjam netijeleri bilen ýokary derejede gabat gelýän simulýasiýa bahalandyrmasy arkaly embodiý intellektuell modellerine açyk, bitarap we gaýtalap bolýan "söweş meýdany" we "türgenleşik meýdany" gurýar. Islendik ýokary okuw mekdebi, ylmy-barlag edarasy ýa-da kompaniýa işläp düzüjisi öz modelini tabşyryp, standartlaşdyrylan "synaga" gatnaşyp biler. Awgustda işe başlanandan bäri, ýurduň içinde we daşynda 100-den gowrak topar platformada model türgenleşigi we bahalandyrmasyny geçirýär.
RoboColiseum häzir dünýäniň işläp düzüjilerine açyk, model toparlaryny bahalandyrmaga gatnaşmaga çagyrýarys.
