Plugin vLLM TT: Integrace Tenstorrent Hardware do vLLM
Plugin vLLM TT umožňuje automatickou registraci Tenstorrent hardware jako platformy pro vLLM.
Plugin vLLM TT přináší integraci akcelerátorů Tenstorrent do platformy vLLM. Tento plugin se instaluje vedle vLLM a registrace hardware probíhá automaticky, jakmile je ttnn z TT-Metal importovatelný.
Podporované modely
Plugin vLLM TT podporuje různé architektury modelů, včetně Llama 3.1, Qwen 2.5 a Mistral. Tyto architektury jsou registrovány pod TT-prefixed konvencí, což znamená, že plugin poskytuje generátory pro každou z těchto architektur. Multimodální modely, jako jsou Llama 3.2 Vision a Qwen-VL, jsou dostupné, avšak plugin má omezenou podporu pro některé pokročilé funkce.
Architektura Tenstorrent
Tenstorrent hardware se vyznačuje síťovou architekturou, která se liší od tradičních GPU. Systém Tenstorrent je tvořen mřížkou jader a čipů propojených on-fabric sítí. Tato architektura ovlivňuje způsob, jakým jsou programy kompilovány a prováděny. Data jsou mezi čipy přesouvána jako součást kompilovaného programu, což ovlivňuje způsob zpracování.
Fázově založené plánování
Plugin vLLM TT implementuje fázově založené plánování pro prefill a decode kroky. Každý plánovací krok se vyhodnocuje jako prefill-only, decode-only nebo empty, což ovlivňuje způsob zpracování požadavků.
Sampling na zařízení
Další výhodou pluginu je možnost sampling na zařízení. Když je aktivován sample_on_device_mode, mesh program provádí sampling přímo na zařízení a vrací tokeny místo logits.
Aktuální omezení
Aktuální verze pluginu má však některá omezení. Nepodporuje například funkce jako LoRA a multi-host serving. Plugin odmítá nebo upravuje nepodporované kombinace při konfiguraci, což uživatelům poskytuje jasnou chybu před spuštěním. Tato omezení by měli vývojáři mít na paměti před nasazením.
Plugin vLLM TT představuje zajímavou možnost pro zpracování modelů na Tenstorrent hardware, avšak je důležité mít na paměti jeho aktuální omezení a specifika architektury. Vývojáři mohou očekávat zlepšení výkonu při použití Tenstorrent hardware s pluginem vLLM TT, ale měli by být obeznámeni s jeho aktuálními omezeními.