Mesh LLM: Distribuované AI výpočty s iroh
Mesh LLM umožňuje sdílení výpočetních zdrojů mezi zařízeními a nabízí více než 40 modelů pro AI aplikace.
Technologie Mesh LLM představuje přístup k distribuci výpočetních zdrojů pro umělou inteligenci. Umožňuje uživatelům sdílet GPU a paměť napříč různými zařízeními, čímž se vytváří jednotné API kompatibilní s OpenAI. Tento systém využívá stávající hardware, což může být výhodné pro týmy, které již mají dostupné výpočetní zdroje.
Každý uzel v Mesh LLM spouští iroh endpoint, který funguje jako identita uzlu a veřejný klíč. Tento prvek je klíčový pro autentizaci a NAT traversal mezi uzly, což umožňuje bezpečné spojení. iroh zajišťuje přímé, autentizované spojení mezi zařízeními, což eliminuje potřebu centrálního serveru.
Mesh LLM obsahuje katalog s více než 40 modely, které se liší počtem parametrů od půl miliardy až po 235 miliard. Tato rozmanitost modelů umožňuje uživatelům vybrat si ten, který nejlépe vyhovuje jejich potřebám, a to bez nutnosti investovat do drahého hardwaru. Modely mohou být rozděleny do více strojů, což znamená, že uživatelé mohou spouštět větší modely, než by bylo možné na jednom zařízení.
Pro autentizaci a NAT traversal Mesh LLM využívá protokol QUIC, který zajišťuje rychlé a bezpečné spojení mezi uzly. Uživatelé mohou nainstalovat software o velikosti přibližně 18 MB a připojit se k veřejné síti, nebo si konfigurovat soukromé nasazení.