GRPO u LFM2.5-350M zlepšilo JSON, YAML téměř nezměnilo
Krátký fine-tuning zvedl skóre IFStruct z 22,6 na 29,7 %. Většina zisku ale připadla na JSON a holé seznamy.
Experiment Hugging Face a Liquid AI ukazuje poměrně přesně, co dokáže krátký úzce zaměřený fine-tuning malého modelu. LFM2.5-350M po 100 krocích GRPO zlepšil celkové skóre v benchmarku IFStruct z 22,6 na 29,7 %. Podstatnější než samotný nárůst o 7,1 procentního bodu je ale rozpad výsledku podle formátu: JSON se zlepšil z 18,0 na 31,9 %, zatímco YAML se posunul jen z 27,2 na 27,5 %.
Odměna odpovídala tomu, co se skutečně zlepšilo
Trénink použil přibližně 500 vzorků z datasetu nvidia/Nemotron-RL-instruction_following-structured_outputs. Každý prompt byl spojený s cílovým JSON Schema a očekávaným počtem polí. Autoři navíc upravili distribuci úloh: 40 % promptů dostalo požadavek na výstup v code fence a oddělených 20 % bylo převedeno na úlohy s polem na nejvyšší úrovni.
GRPO optimalizovalo tři dílčí odměny: parsovatelnost a požadovanou podobu JSON, správný počet polí a validaci proti schématu. Nejvyšší váhu měla právě schema validation. LoRA adaptér zasahoval zhruba 6 milionů parametrů, tedy asi 1,66 % modelu, a při každém promptu vznikalo osm kandidátních dokončení.
Výsledky kopírují zaměření tréninku. Úspěšnost holých seznamů vzrostla z 16,6 na 29,7 %, ale výstupy s obalovým klíčem pouze z 28,5 na 29,7 %. Nejde tedy o rovnoměrné zlepšení schopnosti modelu dodržovat libovolné schéma. Fine-tuning napravil hlavně typy výstupu, které tréninková data a reward funkce výslovně procvičovaly.
Srovnání má pevně dané podmínky
Obě měření proběhla na stejném lokálním stacku s llama.cpp, BF16 GGUF a plným IFStruct testem o 2 000 vzorcích. To dává rozdílu před a po tréninku větší vypovídací hodnotu než porovnání dvou odlišných serving konfigurací. Výchozích 22,6 % bylo navíc blízko hodnotě 21,1 %, kterou pro model uváděl původní IFStruct blog.
Ani vyladěná varianta však benchmark nevyřešila: neprošlo 1 406 z 2 000 úloh a nejčastější chybou zůstala chybějící povinná pole. Celkové skóre 29,7 % bylo také pod uváděnými 33,15 % u většího Qwen3.5-2B.
Praktická pointa experimentu proto není, že 350milionový model po stovce kroků spolehlivě generuje strukturovaná data. Ukazuje užší věc: cílená data a odměny mohou levně odstranit konkrétní druh selhání, ale zlepšení se nemusí přenést ani na sousední formát. Před nasazením je proto potřeba měřit přesně taková schémata, obaly a validační podmínky, které bude aplikace skutečně používat.