Pečení modelu: Kent Beck přirovnává trénování AI k pečení

Kent Beck, autor knih o softwarovém designu a jeden z průkopníků extrémního programování, se ve svém textu Baking a Model pokouší lépe pochopit vznik jazykových modelů pomocí analogie s pečením.

Nejde o odborný návod na trénování modelů. Beck naopak hned na začátku píše, že se mechanismům jejich vzniku teprve snaží porozumět a některé části záměrně zjednodušuje. Analogie má fungovat hlavně jako mentální model pro rozlišení několika odlišných fází tréninku.

Co Beck v textu myslí „modelem“

Beck nejprve odděluje samotný model od softwaru kolem něj. Uživatelské rozhraní podle jeho zjednodušeného popisu řeší například formátování vstupů a výstupů, pořadí požadavků nebo autentizaci. Samotný model pak chápe jako soubor číselných parametrů, jejichž hodnoty vznikají během trénování.

Toto rozdělení není úplným technickým popisem moderního AI systému. V textu slouží hlavně k tomu, aby Beck mohl soustředit pozornost na otázku, jak se hodnoty parametrů modelu vytvářejí a následně upravují.

Pre-training jako studené kynutí

První část analogie se týká pre-trainingu. Beck ho přirovnává ke studenému kynutí těsta.

Při pre-trainingu tým připraví počáteční podmínky: trénovací data, architekturu a počáteční stav modelu. Následuje rozsáhlý výpočet, během kterého se parametry modelu postupně mění. Proces se průběžně kontroluje a ukládají se checkpointy, ale jednotlivé zásahy nejsou srovnatelné s běžnou interaktivní úpravou programu.

Právě v tom Beck vidí podobnost s kynutím. Připraví se podmínky a následně se nechá dlouhý proces proběhnout. Výsledek pre-trainingu přitom ještě nemusí být model připravený pro běžné používání.

Beck tuto fázi zároveň popisuje jako velmi nákladnou sázku. U největších modelů může pre-training znamenat dlouhou práci týmu a značné náklady na výpočetní infrastrukturu. Nejde proto o fázi, kterou lze libovolně rychle opakovat po každém menším problému.

Post-training jako tvarování a dokončení

Post-training má podle Beckovy analogie jiný charakter. Místo jednoho velkého výpočtu jde o řadu menších experimentů zaměřených na konkrétní nedostatky existujícího modelu.

Výzkumníci mohou zkoušet nové datasety, techniky učení nebo další zásahy a sledovat, jak se projeví v chování modelu. Beck proto post-training přirovnává spíše k tvarování a pečení těsta: základ už existuje a další kroky ho připravují pro konkrétní použití.

Sám ale upozorňuje na důležitou slabinu analogie. Pečení nedokáže dobře vystihnout kolaborativní, iterativní a částečně reverzibilní charakter post-trainingu. Jednotlivé experimenty lze porovnávat, kombinovat nebo zahazovat způsobem, který u upečeného těsta nedává smysl.

Co je na analogii užitečné

Nejzajímavější není představa, že se model doslova „peče“. Užitečné je rozdělení dvou částí procesu, které mají odlišný rytmus práce i ekonomiku.

Pre-training je typicky dlouhý a drahý proces, u kterého záleží na rozhodnutích učiněných před spuštěním a na průběžném sledování velkého výpočtu. Post-training naopak umožňuje cílenější a častější experimenty nad už existujícím základem.

Pro vývojáře, kteří hotové modely pouze používají přes API nebo lokální runtime, může být toto rozlišení užitečné hlavně pro pochopení toho, proč nová verze modelu nevzniká stejným způsobem jako nová verze běžné aplikace.

Kde analogie končí

Beckův text není popisem kompletního životního cyklu dnešních modelů. Sám například zmiňuje také „mid-training“, kterému se v článku nevěnuje. Analogie rovněž neřeší podrobně architekturu modelu, přípravu dat, optimalizační algoritmy, reinforcement learning ani způsob vyhodnocování jednotlivých checkpointů.

Proto je lepší číst ji jako vstupní mentální model než jako technické vysvětlení tréninku.

Právě tato zdrženlivost je na Beckově textu užitečná. Nesnaží se z kuchyňské analogie odvodit návod na optimalizaci modelů. Používá ji k tomu, aby si ujasnil rozdíl mezi dvěma velmi odlišnými typy práce, které se často schovávají pod společné označení „trénování modelu“.