Podpora modelu NVIDIA Nemotron 3.5 Lightning na platformě vLLM
Týmy NVIDIA Nemotron a vLLM oznámily podporu modelu Nemotron 3.5 Lightning, který kombinuje hybridní architekturu a optimalizace pro agentní úlohy.
Týmy NVIDIA Nemotron a vLLM oznámily podporu modelu Nemotron 3.5 Lightning ve vLLM. Model využívá hybridní architekturu mixture-of-experts (MoE) s 30 miliardami celkových parametrů, přičemž při běhu jsou aktivní 3 miliardy parametrů. Je zaměřený mimo jiné na agentní úlohy, jako je práce s kódem a používání nástrojů.
Jednou z hlavních vlastností modelu je podpora kontextu až 1 milion tokenů. Podle autorů dosahuje až 4× vyšší propustnosti než podobně velké otevřené modely, což může být užitečné u agentních systémů s velkým množstvím dílčích kroků.
Nemotron 3.5 Lightning je trénovaný pro použití v agentních scénářích a lze jej dále přizpůsobovat pro specializované úlohy. Model vznikl distilací z většího modelu NVIDIA Nemotron 3 Ultra.
Podpora je dostupná pro různé platformy NVIDIA, včetně DGX Spark, DGX Station a RTX PRO. Model je k dispozici ve formátech BF16 a NVFP4 pro různé požadavky na přesnost, paměť a výkon.
vLLM zároveň poskytuje OpenAI-kompatibilní API, takže lze model připojit ke stávajícím agentním frameworkům a aplikacím bez nutnosti vytvářet vlastní obslužnou vrstvu od začátku.