Představení vLLM TorchTPU: Nový backend pro Google Cloud TPUsvLLM TorchTPU usnadňuje nasazení modelů na Google Cloud TPUs bez nutnosti měnit kód.22. října 2026vLLMTPUGoogle Cloud
vLLM omezil výpadek při škálování z 16 na 20 GPU na 0,82 sekundyElastic EP s NIXL zkrátil přerušení obsluhy z desítek sekund pod jednu sekundu. Rozhodující bylo připojení GPU za běhu a zachování CUDA Graphs.20. října 2026GPUškálovánívLLM
Nemotron 3.5 Super VL ve vLLM: rychlá inference, ale úzce vymezené benchmarkyvLLM přidává podporu modelu NVIDIA Nemotron 3.5 Super VL. Co říkají benchmarky, jak vypadá konfigurace pro GB200 a kde jsou její limity.16. října 2026NVIDIAvLLMAI modely
DeepSeek-V4.1-Flash ve vLLM: kde se vzala 5,3× vyšší propustnostInferact a komunita vLLM popsaly tři týdny optimalizací servingu DeepSeek-V4.1-Flash, které zvýšily výkon na benchmarku AgentX až 5,3×.13. října 2026DeepSeekvLLMoptimalizace
PyNvVideoCodec ve vLLM: přes 2× vyšší propustnost na 8 H100NVIDIA přesunula dekódování videa z CPU na NVDEC. Její test ukazuje, proč multi-GPU video captioning potřebuje vlastní VRAM a MPS.18. září 2026GPUvideo captioningPyNvVideoCodec
vLLM u Kimi K3 naměřilo 2,2 až 2,8× vyšší propustnostSrovnání vLLM 0.27.1 s vývojovou verzí ukazuje, které zásahy do plánování, KDA a datových přesunů zkrátily latenci.17. září 2026AIvLLMoptimalizace
Hybrid HiSparse Offloading pro GLM 5.3: Optimalizace výkonu inferenceNové optimalizace GLM 5.3, konkrétně Hybrid HiSparse, umožňují běh modelu s plnou délkou kontextu 1 milion tokenů na jednom 8× H200 uzlu.8. září 2026GLM 5.3vLLMoptimalizace
Plugin vLLM TT: Integrace Tenstorrent Hardware do vLLMPlugin vLLM TT umožňuje automatickou registraci Tenstorrent hardware jako platformy pro vLLM.7. září 2026TenstorrentvLLMplugin
Sharded weight transfer pro model Kimi K2: 7.53 sekund na 48 uzlechČlánek se zaměřuje na implementaci sharded weight transfer v vLLM s využitím Ray Direct Transport a jeho výkonové optimalizace.28. srpna 2026vLLMRay Direct Transportsharded weight transfer
Zkoumání spekulativního dekódování v vLLM na AMD GPUČlánek se zaměřuje na spekulativní dekódování v rámci vLLM a jeho aplikaci na AMD GPU, včetně experimentálních výsledků.24. srpna 2026AIvLLMAMD GPU
Efektivní škálování velkých modelů pomocí Distributed Layerwise OffloadDistributed Layerwise Offload ve vLLM-Omni rozděluje váhy velkých generativních modelů mezi více zařízení a snižuje jejich nároky na HBM.17. srpna 2026AIvLLMmodely
Adaptivní verifikace v vLLM: DSpark a plánování rozpočtuDSpark ve vLLM používá odhad důvěry k dynamickému plánování počtu spekulativních tokenů, které má smysl ověřit.15. srpna 2026vLLMDSparkverifikace
Podpora modelu Qwen3.8-2.4T-A95B na platformě vLLMTýmy vLLM a Inferact oznámily podporu modelu Qwen3.8-2.4T-A95B a popsaly jeho hardwarové nároky, kvantizaci i první výsledky testů.14. srpna 2026QwenvLLMAI modely
Podpora modelu NVIDIA Nemotron 3.5 Lightning na platformě vLLMTýmy NVIDIA Nemotron a vLLM oznámily podporu modelu Nemotron 3.5 Lightning, který kombinuje hybridní architekturu a optimalizace pro agentní úlohy.14. srpna 2026NVIDIAAIvLLM
Jak funguje vLLM V1: engine, scheduler, KV cache a škálováníRozbor vLLM V1 ukazuje, jak engine, scheduler, KV cache, continuous batching a další mechanismy ovlivňují propustnost a latenci.7. srpna 2026vLLMAIinference
Vylepšení vLLM backendu pro modely transformersNový transformers backend ve vLLM se u mnoha kompatibilních architektur přibližuje rychlosti nativních implementací a někdy je i překonává.10. července 2026vLLMtransformersAI
Jak spustit vLLM server na Hugging Face Jobs jedním příkazemNaučte se, jak jednoduše spustit vLLM server na Hugging Face Jobs pomocí jediného příkazu.26. června 2026vLLMHugging FaceAI