Běh 28,9M parametrů LLM na mikrořadiči za 8 dolarů
Jak jazykový model s 28,9 miliony parametry funguje na ESP32-S3 bez připojení k serveru.
Tento jazykový model má 28,9 milionu parametrů a běží na mikrořadiči ESP32-S3, jehož cena se pohybuje kolem 8 dolarů. Model generuje text rychlostí přibližně 9,5 tokenů za sekundu, což je výkon, který je pro tak malý čip zajímavý. Všechny operace probíhají přímo na zařízení, bez nutnosti připojení k serveru.
Většina parametrů modelu, konkrétně 25 milionů, je uložena ve flash paměti. Tento přístup je možný díky technologii Per-Layer Embeddings od Googlu, která umožňuje velkým modelům běžet na malých čipech. Model byl trénován na datasetu TinyStories, což jsou krátké syntetické příběhy.
Model má velikost 14,9 MB při 4 bitech. Předchozí modely na podobných čipech měly pouze 260 tisíc parametrů, což ukazuje na pokrok v této oblasti.
Zajímavé na tomto projektu je, jak se podařilo přizpůsobit architekturu modelu tak, aby fungovala na zařízení s omezenými zdroji. Tento projekt tak otevírá nové možnosti pro nasazení jazykových modelů v prostředích, kde jsou dostupné pouze malé a levné mikrořadiče.