vLLM dosahuje 954K tokenů/s při servírování DeepSeek-V4.1-Flash na NVIDIA GB300 NVL72

Autoři vLLM uvádějí, že jejich systém dosahuje propustnosti 954K tokenů za sekundu na GPU s DeepSeek-V4.1-Flash. Tento výkon byl dosažen na hardwaru NVIDIA GB300 NVL72 a zahrnuje optimalizace jako P/D disaggregaci a Wide-EP. V porovnání s předchozími výsledky na jednom uzlu je to zlepšení o 7,9×.

VLLM se ukazuje jako konkurenceschopný s DeepInfer, což je vlastní inference engine pro DeepSeek-V4.1-Flash. Při srovnání propustnosti mezi vLLM a DeepInfer, vLLM dosahuje propustnosti dekódování, která je v rámci 6 % od DeepInfer napříč různými velikostmi batch (8-256). DeepInfer poskytuje referenční hodnoty, které jsou důležité pro porovnání výkonu.

Optimalizace a technické detaily

Optimalizace vLLM zahrnují několik klíčových aspektů, které přispívají k jeho vysoké propustnosti. Mezi ně patří:

• Malý KV cache footprint: Pouze 890 bajtů na token pro globální KV cache, což je možné díky sdílení KV napříč vrstvami a FP4 kompresi.
• Lehká pozornost: Některé vrstvy používají 2× kompresi pro plné indexování kontextu, což zefektivňuje zpracování.
• Efektivní dekódování: VLLM dosahuje vysoké propustnosti dekódování, přičemž jeho prefill throughput na DEP2 je 64,4K tokenů/s a na DEP4 53,3K tokenů/s.

Díky těmto optimalizacím vLLM dokáže efektivně škálovat s EPLB, což z něj činí silného konkurenta pro model-specific engine jako je DeepInfer.

Praktické implikace

Zvýšení propustnosti na 954K tokenů/s může mít dopad na aplikace využívající AI, které vyžadují rychlé a efektivní zpracování dat. Optimalizace, jako je použití menších DEP instancí pro prefill, mohou dále zvyšovat propustnost a efektivitu.

Je však důležité mít na paměti, že výsledky mohou být ovlivněny různými konfiguracemi a hardwarovými nastaveními. Srovnání se zakládá na různých konfiguracích, což může ovlivnit výsledky. Tým vLLM doporučuje provádět testy s různými velikostmi batch a konfiguračními parametry pro dosažení optimálních výsledků.