inference

Jak funguje vLLM V1: engine, scheduler, KV cache a škálování

Rozbor vLLM V1 ukazuje, jak engine, scheduler, KV cache, continuous batching a další mechanismy ovlivňují propustnost a latenci.