Adaptivní verifikace v vLLM: DSpark a plánování rozpočtu
DSpark ve vLLM používá odhad důvěry k dynamickému plánování počtu spekulativních tokenů, které má smysl ověřit.
Adaptivní verifikace ve vLLM, implementovaná pomocí DSpark, mění způsob, jakým se při spekulativním dekódování plánuje počet tokenů určených k ověření. Místo pevně nastaveného rozpočtu používá odhad pravděpodobnosti, že jednotlivé navržené tokeny verifikací projdou.
DSpark používá takzvanou confidence head, která odhaduje šanci každého tokenu na přijetí. Na základě těchto odhadů a aktuálního zatížení systému může vLLM dynamicky rozhodovat, kolik návrhů má v daném kroku ověřit.
Autoři testovali adaptivní verifikaci na modelu DeepSeek-V4-Pro-0813. Benchmark zahrnoval 880 promptů, maximální délku modelu 16 384 tokenů a různé úrovně souběžného zpracování. V tomto konkrétním testu zůstávala adaptivní verifikace na Pareto hranici napříč testovanými úrovněmi concurrency.
Praktickým přínosem je menší potřeba ručně ladit počet spekulativních tokenů pro konkrétní workload. Adaptivní verifikace je ve vLLM dostupná přes volbu enable_adaptive_verification.
Funkce má zároveň několik omezení. Konkrétní konfigurace CUDA graphs vyžaduje podporu odpovídajícího režimu attention a některé funkce, například --enforce-eager, LoRA, pipeline parallelism nebo output logprobs, nejsou podle zdroje v této kombinaci podporované.
Výsledky ukazují, že dynamické plánování verifikačního rozpočtu může v některých konfiguracích zlepšit poměr mezi propustností a latencí. Jde ale o výsledky konkrétního experimentu na uvedeném modelu a hardwarové konfiguraci, ne o obecný benchmark všech workloadů ve vLLM.