Nemotron na IOI a IMO: zlatý práh nebyl jen zásluha fine-tuningu

NVIDIA zveřejnila výsledky dvou systémů postavených na rodině Nemotron 3. Jeden překonal zlatý bodový práh na International Olympiad in Informatics (IOI) 2026, druhý na International Mathematical Olympiad (IMO) 2026. Na první pohled je to další zpráva o tom, že větší model a více tréninku přinesly lepší skóre. Právě takové čtení by ale minulo nejzajímavější část práce.

Za důležitější než samotné „zlato“ považuji rozdělení výsledku mezi tři vrstvy: doménová data, specializované checkpointy a inference smyčku, která kandidátní řešení generuje, kontroluje a opravuje. NVIDIA sama výslovně píše, že úspěch nevznikl pouze fine-tuningem ani pouhým navyšováním počtu vzorků při inferenci. Pro vývojáře je to užitečnější závěr než pořadí v jedné soutěži.

Dva výsledky, ale každý znamená něco jiného

Na IOI 2026 získal systém s modelem Nemotron-3-Ultra-CC skóre 535,4 z 600 bodů. Zlatý práh činil 361,12 bodu a nejlepší lidský soutěžící dosáhl 498,27 bodu. Běh proběhl živě a dopředu, se stejnými časovými, internetovými a odevzdávacími omezeními jako u soutěžících.

Nešlo však o oficiální účast. NVIDIA výsledek popisuje jako neoficiální benchmark bez dohledu a model nebyl zahrnut do pořadí IOI. Přesná formulace tedy není „Nemotron získal zlatou medaili“, ale „systém překonal bodovou hranici pro zlato“. Rozdíl je důležitý, protože oficiální soutěžní výsledek zahrnuje také procesní důvěru, nejen počet bodů.

Na IMO 2026 dosáhl systém 30 bodů ze 42, tedy o bod více než oficiální zlatý práh. Odevzdané důkazy hodnotili oficiální hodnotitelé IMO a čtyři ze šesti úloh získaly plný počet bodů. Ani tady ale skóre nevytvořil jeden checkpoint. Finální řešení skládal systém z obecného modelu Nemotron 3 Ultra, variant po supervised fine-tuningu (SFT) a reinforcement learningu (RL). Modely vytvářely důkazy, hodnotily je, psaly kritiky a slibné pokusy dále opravovaly; samostatná výpočetně náročná fáze pak vybírala výsledné odpovědi.

Podle NVIDIA celý matematický systém pracoval v přirozeném jazyce, bez formálního dokazovače, externích nástrojů a přístupu k internetu. To dělá výsledek zajímavým, ale zároveň ukazuje, že označení „výkon modelu“ je příliš hrubé. Ve skutečnosti se měřil výkon celé sestavy.

Co skutečně přinesl fine-tuning

Pro soutěžní programování tým připravil 22 000 úloh a syntetické postupy řešení. Menší Nemotron-3-Nano-CC má 30 miliard parametrů, z nichž se při inferenci aktivují 3 miliardy, a prošel SFT i RL. V experimentu nad IOI 2025 se posunul ze 130 bodů před post-trainingem na 280 po SFT a 291 po RL.

Tahle posloupnost je cennější než obecné tvrzení, že „RL model zlepšil“. Většinu posunu přinesl SFT; RL přidal dalších 11 bodů. Teprve GenCorrect, iterativní postup generate–evaluate–refine, dostal skóre na 468 bodů a nad tehdejší zlatý práh 438,3. Čísla 438,3 a 468 tedy patří k IOI 2025, nikoliv k výsledku IOI 2026.

Větší Nemotron-3-Ultra-CC má 550 miliard celkových a 55 miliard aktivních parametrů. Dostal pouze SFT a podle NVIDIA mu jediná epocha stačila k překonání plně dotrénovaného Nano modelu na IOI, ICPC a LiveCodeBench Pro. S GenCorrect dosáhl v experimentu IOI 2025 skóre 502 bodů. Soutěžní systém pro IOI 2026 pak tuto kombinaci specializovaného modelu a test-time strategie posunul na 535,4 bodu.

Výsledek tak neříká, že RL je zbytečné. Spíš ukazuje, že přínos jednotlivých metod závisí na síle výchozího modelu, datech a způsobu použití při inferenci. Bez odděleného měření těchto vrstev by výsledné skóre neřeklo, co se vlastně zlepšilo.

Matematika potřebovala jiné specialisty

Pro IMO vznikl SFT dataset s 414 890 filtrovanými příklady z 15 818 unikátních důkazových úloh. Data nepokrývala jen hotová řešení, ale také tvorbu důkazu, jeho opravu, ověřování a kontrolu samotného ověření. RL checkpoint byl trénován na 9 597 úlohách vybraných poblíž hranice schopností modelu.

Oba specializované checkpointy v interních vývojových experimentech překonaly obecně dostupný model, ale každý jinak. SFT varianta byla nejsilnější v prvním kole hledání, zatímco RL dosáhla nejlepšího výsledku mezi jednotlivými checkpointy. NVIDIA je proto ve finálním systému nekonkurovala proti sobě; využila jejich rozdílné silné stránky společně s obecným modelem.

To je podle mě hlavní praktická lekce článku. U náročné úlohy nemusí dávat smysl hledat jediný „nejlepší“ checkpoint. Lepší systém může vzniknout rozdělením rolí mezi generátor, kritika a model zaměřený na opravy — pokud umíme jejich přínos samostatně měřit.

Co si z toho může odnést vývojář

Výsledky nejsou návodem, že stačí vzít Nemotron, přidat SFT a získat expertní systém. NVIDIA připouští, že tréninkové i inference běhy byly rozsáhlé, ale v blogovém článku neuvádí jejich úplnou cenu ani výpočetní rozpočet. Bez toho nelze posoudit ekonomickou efektivitu receptu nebo ho férově porovnat s uzavřeným modelem přes API.

Přesto z práce vycházejí čtyři použitelné zásady:

1. Měřit checkpoint a celý systém odděleně. Skóre po SFT, po RL a po iterativní inferenci odpovídají na jiné otázky.
2. Trénovat i kontrolní chování. U důkazů nebyla data jen o generování odpovědi, ale také o hledání mezer, kritice a revizi.
3. Kombinovat specialisty podle role. Nejlepší checkpoint v jednom kole nemusí být nejlepší součástí vícekrokového workflow.
4. Uvádět podmínky výsledku. Zlatý práh, oficiální pořadí, test-time compute a dostupné nástroje zásadně mění význam stejného skóre.

NVIDIA zveřejnila checkpointy, datasety, benchmark Nemotron-IMO-Bench i inference workflow v NeMo-Skills, takže tvrzení lze dál zkoumat a část postupu reprodukovat. To je pro mě přesvědčivější než samotný medailový slovník. Článek ukazuje, že otevřený základní model lze proměnit ve schopného specialistu, ale zároveň poskytuje dobrý důvod přestat připisovat výsledek pouze modelu nebo pouze fine-tuningu. Rozhodující byl návrh celé smyčky od dat až po výběr finální odpovědi.