Nemotron 3.5 Super VL ve vLLM: rychlá inference, ale úzce vymezené benchmarky

Projekt vLLM oznámil podporu modelu NVIDIA Nemotron 3.5 Super VL hned při jeho vydání. Jde o otevřený multimodální model určený pro delší agentní úlohy, ve kterých se kombinuje text, obraz, dokumenty, video a volání nástrojů. Z pohledu vývojáře je zajímavá hlavně zveřejněná konfigurace serveru a podmínky výkonnostních testů. Samotná čísla totiž vypadají působivě, ale nejsou univerzálním měřítkem rychlosti modelu.

120 miliard parametrů, aktivních je 12 miliard

Nemotron 3.5 Super VL používá architekturu mixture-of-experts se 120 miliardami parametrů, přičemž při zpracování tokenu se aktivuje 12 miliard. NVIDIA jej staví do role přesnějšího multimodálního modelu pro agentní vykonávání úloh; vedle něj nabízí Nemotron 3.5 Lightning pro objemné textové zpracování a Nemotron 3 Ultra pro nejnáročnější čistě textové uvažování.

Model kombinuje hybridní architekturu Mamba-Transformer, obrazový enkodér C-RADIOv4 a multi-token prediction (MTP). U MTP pomocné hlavy navrhují několik budoucích tokenů a cílový model je následně ověřuje. Tím lze omezit počet po sobě jdoucích kroků při generování, aniž by se přijímaly tokeny bez kontroly cílového modelu.

K dispozici jsou checkpointy BF16 a NVFP4. BF16 představuje základní variantu pro nasazení, zatímco NVFP4 míří na prostředí schopná využít inference s nižší přesností. Oznámení ale neobsahuje přímé srovnání kvality obou checkpointů, takže z něj nelze odvodit, jaký kompromis NVFP4 přinese u konkrétní aplikace.

Co skutečně říkají zveřejněné benchmarky

Podle vLLM dosáhl Nemotron 3.5 Super VL na jednom GPU až pětinásobné propustnosti proti jiným otevřeným modelům stejné velikostní kategorie. Graf uvádí více než 600 výstupních tokenů za sekundu při vstupu dlouhém 100 000 tokenů. Měření se týká agentních úloh z Artificial Analysis Intelligence Index a běželo na endpointu Baseten.

Druhý graf porovnává přesnost v SWE-bench Pro a dobu potřebnou k dokončení 10 000 úloh na čtyřech GPU NVIDIA B200. Autoři u tohoto nastavení uvádějí čtyřikrát rychlejší dokončení úloh proti vedoucím otevřeným modelům podobné velikosti.

Obě čísla je proto nutné číst spolu s jejich podmínkami. Neříkají, že model bude pětkrát rychlejší na libovolném serveru, při jiné délce kontextu nebo v každé multimodální aplikaci. Oznámení navíc obsahuje třetí graf z DGX Spark, ten se však týká příbuzného modelu Nemotron 3.5 Super bez označení VL. Pro hodnocení Super VL jej nelze použít.

Spuštění modelu není jen Docker příkaz

Zdroj nejprve ukazuje stažení obrazu vllm/vllm-openai:v0.31.0 a otevření shellu v kontejneru. Tento krok sám model nespustí. Samotné servírování NVFP4 checkpointu zajišťuje až následující příkaz, který vLLM uvádí jako příklad pro sestavu s jedním GB200:

vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \
  --served-model-name nemotron-3.5-super \
  --trust-remote-code \
  --max-model-len 114688 \
  --reasoning-parser nemotron_v3 \
  --speculative-config.method mtp \
  --speculative-config.num_speculative_tokens 5

Hodnota --max-model-len 114688 nastavuje maximální délku modelového kontextu a poslední dva přepínače zapínají MTP s pěti spekulativními tokeny. V samostatném příkladu zdroj ukazuje také konzervativnější nastavení se třemi tokeny. Po spuštění server poskytuje rozhraní kompatibilní s OpenAI API; vLLM k tomu přidává continuous batching a prefix caching.

Konfigurace je užitečný výchozí bod, nikoli univerzální recept. Autoři výslovně doporučují ověřit ji na cílovém hardwaru a zveřejněný příklad je svázaný s GB200. Pro menší GPU z oznámení neplyne, že se na ně 120B model ve variantě NVFP4 vejde ani že na nich zachová uvedenou propustnost.

Kde může multimodalita dávat smysl

NVIDIA jako možné scénáře uvádí zpracování zákaznických dokumentů a obrázků, analýzu tabulek a rozvržení dokumentů, práci s videem nebo webový průzkum. Pomocí NVIDIA NeMo lze model dále přizpůsobit terminologii, pravidlům, nástrojům a datům organizace. Jsou to ale příklady výrobce, ne výsledky samostatných produkčních testů.

Nejcennější částí oznámení proto není samotné tvrzení o násobném zrychlení. Důležitější je, že vLLM zveřejnilo konkrétní cestu k nasazení, včetně checkpointu, délky kontextu, parseru a nastavení MTP. O tom, zda bude Nemotron 3.5 Super VL vhodnější než menší model nebo jiné multimodální řešení, musí rozhodnout až měření na vlastních úlohách a dostupném hardwaru.