Podpora modelu Qwen3.8-2.4T-A95B na platformě vLLM

Týmy vLLM a Inferact oznámily podporu modelu Qwen3.8-2.4T-A95B ve vLLM. Jde o model s otevřenými vahami se 2,4 bilionu parametrů a 512 experty.

Model Qwen3.8-2.4T-A95B vychází z architektury Qwen 3.5 a ve vLLM je podporovaný bez nutnosti zásahů do architektury modelu. K dispozici jsou checkpointy FP8 a BF16 i kvantizované varianty MXFP4 a NVFP4, které snižují nároky na paměť a přenosovou kapacitu.

Pro běh plných checkpointů je podle vLLM potřeba alespoň dvojice uzlů NVIDIA B300 nebo AMD MI355X. FP4 kvantizovaná varianta se podle zdroje vejde na jeden uzel.

Inferact provedl počáteční ověření kvality FP4 kvantizace. Ve zveřejněných testech se NVFP4 držela na úrovni FP8 nebo ji překonala, nejde ale o obecný důkaz zachování kvality modelu ve všech úlohách. Autoři zároveň upozorňují, že pro reprodukci některých výsledků je potřeba odpovídajícím způsobem nastavit reasoning budget.

Doporučené parametry generace pro model Qwen3.8 zahrnují temperature=1.0, top_p=0.95 a top_k=20.

vLLM popisuje také optimalizace pro platformy NVIDIA a AMD. Na NVIDIA GPU používá optimalizovaná jádra pro lineární pozornost a další operace, zatímco na AMD Instinct GPU využívá optimalizovaná jádra pro dekódování a pozornost.

Ve zveřejněných FP8 testech dosáhl model na GSM8K 89,61 % v režimu strict a 90,52 % v režimu flexible. Na AIME25 dosáhl 87,78 % v průměru a 93,33 % v metrice pass. U varianty NVFP4 zdroj uvádí 90,37 % a 91,05 % na GSM8K a 92,22 % a 96,67 % na AIME25. Jde o výsledky konkrétního testovacího nastavení popsaného autory.