Migrace AI agenta Ploy na GPT-5.6: Rychlost a úspora nákladů

Ploy popsal migraci svého produkčního AI agenta z Claude Opus 4.8 na GPT-5.6 Sol. Podle firmy přinesla změna 2,2× rychlejší běh a 27% snížení nákladů v jejich konkrétním workloadu.

To je důležité číst jako výsledek produkčního systému Ploy, ne jako obecný benchmark GPT-5.6 proti Claude Opus 4.8. Jiný agent, jiné nástroje nebo jiný typ úloh může dopadnout jinak.

Výkon a náklady

Ploy uvádí, že testoval modely na reálných pracovních případech. Průměrná cena za dokončenou stránku byla podle článku 3,06 USD u Claude Opus 4.8 a 2,22 USD u GPT-5.6 Sol. Průměrný čas dokončení stránky se měl snížit z 8 minut na 3 minuty a 42 sekund.

Jedním z důvodů má být kratší výstup. GPT-5.6 Sol podle Ploy generoval v průměru 17,1 tisíce výstupních tokenů, zatímco Claude Opus 4.8 33 tisíc. To může snížit cenu i dobu běhu. Neznamená to ale automaticky, že kratší výstup je vždy kvalitnější kód.

Zajímavější je proto širší pointa: migrace modelu není jen výměna názvu v konfiguraci. Ploy musel upravit evaluační nástroje, schémata a předpoklady, které původně vznikly kolem Claude Opus.

Technické úpravy a výzvy

Původní nastavení pro Claude Opus podle Ploy neodpovídalo chování GPT-5.6 Sol. Některé neúspěšné testy tak nebyly nutně selháním nového modelu, ale důsledkem nevhodně nastavených evalů nebo předpokladů o výstupech modelu.

Ploy zmiňuje také výzvy kolem cachování a správy nástrojů. To dobře ukazuje, že produkční agent je systém: model, nástroje, schémata, cache, evaluace a pravidla pro dokončení úlohy.

Praktický dopad je jasný. Pokud tým přechází mezi modely, měl by znovu ověřit nejen kvalitu odpovědí, ale i náklady, latenci, spotřebu tokenů, evaluační metriky a chování nástrojů. Stejný prompt nebo stejné schéma nemusí být férové pro dva různé modely.