vLLM na GB300: 954 tisíc tokenů/s na GPU s DeepSeek-V4.1-Flash
Výsledek z jednoho racku GB300 NVL72 zahrnuje vstupní i výstupní tokeny a platí pro scénář AgentX. Oddělené srovnání s DeepInfer proběhlo na jiném hardwaru.
Týmy Inferact a vLLM uvádějí propustnost 954 tisíc tokenů za sekundu na GPU při servírování modelu DeepSeek-V4.1-Flash na jednom racku NVIDIA GB300 NVL72. Měření v AgentX od SemiAnalysis používalo oddělený prefill a decode, Wide Expert Parallelism a dosáhlo P90 rychlosti 196 výstupních tokenů za sekundu na uživatele.
Číslo 954 tisíc není pouze rychlost generování. Metrika sčítá cacheované vstupní tokeny, necachované vstupní tokeny a výstupní tokeny. Uvedené zlepšení 7,9× se vztahuje k dřívějšímu agregovanému výsledku stejného týmu na jednom uzlu, nikoli k univerzálnímu srovnání GB300 s jiným hardwarem nebo inference enginem.
Srovnání s DeepInfer má dvě různé metodiky
DeepInfer je modelově specifický offline engine od DeepSeeku. Pro decode tým porovnal vLLM na GB200 s čísly publikovanými DeepInferem: při kontextu 131 tisíc tokenů, nextn=3 a velikostech batch 8 až 256 byla propustnost vLLM v rozmezí 6 % od hodnot odečtených z grafů DeepInferu.
Prefill není přímé srovnání výkonu. DeepInfer publikoval křivku pro EP4DP4, 32 redundantních expertů a replay omezený na 140 tokenů, ale bez uvedení hardwaru. vLLM použilo DEP2 na GB300, vlastní prompty, žádné redundantní experty a 128tokenový replay. Autoři proto výslovně nevykládají rozdíl mezi křivkami jako zrychlení jednoho enginu proti druhému; tvrdí pouze, že průběh vLLM sleduje publikovanou křivku DeepInferu.
Proč menší prefill skupina vyhrála
DeepSeek-V4.1-Flash má podle technických údajů globální KV cache o velikosti 890 bajtů na token díky sdílení KV mezi vrstvami a kompresi FP4. U dlouhého kontextu tak decode v testované konfiguraci více zatěžovala část Mixture-of-Experts než attention: při DEP4, kontextu 128 tisíc tokenů a 64 požadavcích na rank zabral MoE 62 % času cílového kroku, attention s indexerem dohromady 13 %.
Pro prefill se naopak osvědčila malá skupina. V AgentX prefill-only běhu s concurrency 256 dosáhlo DEP2 propustnosti 64,4 tisíce tokenů/s na GPU, zatímco DEP4 53,3 tisíce. Při uměle časově posunutém přísunu stejných požadavků ztratilo DEP4 13,6 % propustnosti, což autoři připisují nerovnováze mezi datově paralelními ranky.
Další tři změny — omezený replay ve vrstvě 20, dvoumegabajtové stránky pro sdílené Engram tabulky a DeepSelect top-k v prefill indexeru — zvýšily v testech propustnost nových tokenů o 35,6 až 43,9 % podle délky vstupu. Jde o přírůstky nad konkrétní baseline s cacheovaným prefixem 128 tisíc tokenů, ne o zrychlení celého serveru ve všech úlohách.
Wide-EP pomohlo, ale neškáluje bez limitu
Při decode zmenšovalo rozšíření DEP4 až DEP32 náklady na čtení vah expertů. Přínos na GPU však postupně klesal, protože ostatní práce zůstávala kolem deseti milisekund a u DEP32 začala část zisku spotřebovávat komunikace draft modelu. Expert Parallel Load Balancing, který přeskupoval experty každých 3 000 kroků podle předchozích 1 000 kroků, zvýšil vyváženost cílového modelu z 0,35 na 0,94 a draftu z 0,21 na 0,89.
Benchmark tak dokládá výkon jedné přesně popsané kombinace modelu, racku, workloadu a metrik. Pro kapacitní plánování je nutné oddělit prefill od decode, sledovat latenci na uživatele a zopakovat měření na vlastních délkách kontextu, míře cache hitů a požadované souběžnosti.