Mesh LLM: Distribuované AI výpočty s iroh

Mesh LLM představuje přístup k distribuci výpočetních zdrojů pro běh jazykových modelů. Místo jednoho velkého serveru se snaží využít GPU a paměť napříč více stroji a vystavit je jako OpenAI-compatible API na lokální adrese localhost:9337/v1.

Základní myšlenka je jednoduchá: pokud má tým k dispozici několik menších GPU strojů, může je zkusit spojit do jedné mesh sítě. To může být zajímavé ve chvíli, kdy jeden stroj nemá dost paměti nebo když už hardware existuje a dává smysl ho využít společně.

Neznamená to ale, že velké modely najednou poběží bez výpočetních nároků nebo bez dražšího hardwaru. Spíš jde o jiný způsob, jak rozdělit práci mezi více dostupných zařízení.

Požadavek může Mesh LLM obsloužit několika způsoby. Může běžet lokálně na GPU daného stroje, může být přesměrován na peer, který už má požadovaný model načtený, nebo může být příliš velký model rozdělen napříč více uzly jako pipeline.

Každý uzel v Mesh LLM spouští iroh endpoint, který funguje jako identita uzlu a veřejný klíč. iroh řeší NAT traversal, hole punching a autentizované QUIC spojení mezi zařízeními. Zdroj ale zároveň uvádí, že pro případy, kdy přímé spojení neprojde, může síť použít relay fallback. Nejde tedy o klasický centrální server pro inference mesh, ale síť se nemusí vždy obejít bez relay infrastruktury.

U velkých modelů Mesh LLM používá split mode interně označený jako „Skippy“. V něm jsou vrstvy modelu rozdělené do pipeline stage mezi více uzlů. Aktivace pak postupně proudí z jedné části modelu do další.

Zdroj uvádí také katalog s více než 40 modely, od menších modelů kolem půl miliardy parametrů až po modely se stovkami miliard parametrů. Cílem je, aby se požadavky mohly směrovat podle dostupných zdrojů a podle toho, kde je model už načtený.

Zajímavá je i pluginová architektura. Pluginy deklarují své schopnosti v manifestu a runtime je může vystavit přes MCP, HTTP, inference nebo mesh events. To z Mesh LLM nedělá jen distribuovaný inference server, ale i prostředí, do kterého lze přidávat další funkce a integrace.

Zajímavé na Mesh LLM není to, že by zázračně odstranil limity velkých modelů. Důležitější je ukázka jiného provozního modelu: lokální běh, routing na peer, pipeline rozdělení modelu přes více strojů a jednotné API pro aplikaci.

Pro vývojáře je to praktický směr hlavně tam, kde už existuje více menších strojů a dává smysl je využít společně. Zároveň je potřeba počítat s tím, že distribuovaný běh přináší vlastní složitost: síť, latenci, dostupnost uzlů, relay fallback a koordinaci pipeline mezi stroji.