GPT-6 Astra uspěl s mísou, u puzzle se zasekl jako Fable
V testu Robocurve zvládl model Astra 19 z 20 pokusů s blokem, ale u přesnějšího puzzle uspěl jen dvakrát stejně jako Fable 5.1.
Test Robocurve ukazuje dvě velmi odlišné stránky stejného modelu. GPT-6 Astra při úkolu vložit červený blok do mísy uspěl v 19 z 20 pokusů. Model Fable 5.1 zvládl 8 z 20 a Fable 5 jediný pokus. U přesnějšího zasunutí kulatého dílu do drážky ale Astra dokončil pouze 2 z 20 pokusů, tedy stejně jako Fable 5.1.
Kontrast mezi úlohami je důležitější než pořadí modelů v jedné tabulce. U mísy Astra dosáhl průměrné fáze 3,95 ze čtyř, zatímco Fable 5.1 skončil na 2,40 a Fable 5 na 1,30. U puzzle měl Astra průměr 2,00, tedy méně než 2,35 u Fable 5.1. Robocurve popisuje, že oba novější modely obvykle dopravily díl k cíli, ale selhávaly při posledním přesném zasunutí.
Méně času a tokenů neznamenalo univerzálně lepší manipulaci
V úloze s mísou potřeboval Astra v průměru 2,5 minuty a asi 2 100 výstupních tokenů na pokus. Odhadovaná cena byla 0,94 dolaru. Fable 5.1 potřeboval 6,8 minuty, 12 900 tokenů a cenu 2,12 dolaru. U puzzle zůstal Astra rychlejší a levnější, ale jeho desetiprocentní úspěšnost byla stejná jako u Fable 5.1.
To odděluje dva druhy výsledku. Astra v testu dokázal provést jednodušší sekvenci kratším výstupem a s mnohem vyšší spolehlivostí. Zároveň se stejná výhoda nepřenesla do úlohy vyžadující přesné zakončení pohybu. Z tabulky proto nelze odvodit, že je model obecně lepší v robotické manipulaci.
Jak číst metodologii
Každý běh hodnotil člověk podle nejvyšší dosažené fáze: kontakt s objektem, zvednutí, přesun nad cíl a úplné uložení. Celkem stránka uvádí 120 pokusů napříč dvěma úlohami a třemi modely. K dispozici jsou přepisy i videa jednotlivých běhů, takže agregované skóre lze kontrolovat proti konkrétním pokusům.
Srovnání má několik omezení. Běhy modelu Astra proběhly dva dny po testech Fable a nebyly s nimi časově promíchané. Lidské známkování může přidat subjektivitu a dvě úlohy samy nepokrývají šíři robotické manipulace. Cena je navíc odhad pro konkrétní běh, ne celková cena robotického systému.
Nejpřesnější závěr tedy zní: Astra v konfiguraci Robocurve výrazně zlepšil výsledek v úloze s blokem a současně snížil čas, tokeny i odhadované náklady. U puzzle však narazil na stejný poslední krok jako Fable 5.1. Právě tento negativní výsledek brání zobecnění jednoho působivého čísla na celou robotiku.