Granite 4.2: Technické aspekty a architektura nových LLM

Model Granite 4.2, vyvinutý firmou IBM, představuje novou generaci hustých, dekodér-only jazykových modelů (LLMs). Tato rodina modelů je k dispozici ve třech velikostech: 3B, 8B a 30B. Jejich architektura a tréninkové metody byly navrženy tak, aby podpořily pokročilé uvažování a interakci s nástroji v reálných prostředích.

Architektura modelu

Granite 4.2 je postaven na dekodér-only architektuře, která zahrnuje několik klíčových komponentů. Mezi nimi je například:

• Attention mechanismus: Používá Grouped Query Attention (GQA) s 40 attention heads a 8 KV heads.
• Pozicování: Implementuje Rotary Position Embedding (RoPE) s parametrem θ = 10,000,000.
• Feed-Forward síť: Využívá MLP s aktivací SwiGLU.
• Normalizace: RMSNorm s ε = 1e-5.
• Embeddings: Oddělené vstupní a výstupní embeddings.

Každý model má specifické parametry, například model 30B obsahuje 64 vrstev a 32768 skrytých neuronů v MLP. Maximální délka kontextu, kterou modely podporují, je 512K tokenů, což umožňuje zpracovávat rozsáhlé textové vstupy.

Pre-trénink

Granite 4.2 byl předtrénován na přibližně 15 trilionech tokenů. Tento proces probíhal v pěti fázích, přičemž první dvě fáze se zaměřily na základní pre-trénink, zatímco další fáze postupně zvyšovaly kvalitu dat. Poslední fáze se zaměřila na dlouhý kontext, čímž se rozšířil kontextový okno na 512K tokenů. Tento rozsah dat ukazuje na ambicióznost tréninkové strategie a na snahu o dosažení vysoké kvality modelu.

Supervised Fine-Tuning (SFT)

Supervised fine-tuning (SFT) modelu zahrnoval přibližně 7.2 milionu vzorků, což odpovídá zhruba 100 miliardám tokenů. Tato data byla rozdělena na agentická (31.6%) a neagentická (68.4%) vzorky. Agentická data pokrývají široké spektrum domén, včetně softwarového inženýrství a použití nástrojů. Tento proces doladění modelu zajišťuje, že model nejenže rozumí instrukcím, ale také je schopen efektivně uvažovat a používat nástroje.

Reinforcement Learning

Modely Granite 4.2, konkrétně 8B a 30B, procházejí agentickým RL blokem, který je učí používat nástroje v reálných prostředích. Tento vícefázový přístup k reinforcement learningu zahrnuje interakci s nástroji a schopnost provádět akce, jako je volání API nebo úprava kódu. Tato schopnost je klíčová pro aplikace, které vyžadují pokročilé uvažování a interakci s externími systémy.

Praktické implikace

Granite 4.2 je vysoce výkonný model, který nabízí pokročilé schopnosti uvažování a použití nástrojů. Díky podpoře volání nástrojů s integrovaným uvažováním mohou vývojáři využít tento model v aplikacích, které vyžadují komplexní interakce a analýzy. Modely jsou vydány pod licencí Apache 2.0, což usnadňuje jejich integraci do různých projektů a aplikací.

Zajímavé na tom je, že Granite 4.2 může potenciálně zlepšit efektivitu vývoje tím, že umožní vývojářům soustředit se na složitější úkoly, zatímco model se postará o rutinní operace a uvažování. Tímto způsobem se otevírají nové možnosti pro automatizaci a zjednodušení pracovních procesů v oblasti AI.