Experiment spouští 28,9milionový jazykový model na ESP32-S3
Projekt ukazuje běh malého modelu trénovaného na TinyStories přímo na levném mikrořadiči bez připojení k serveru.
Projekt esp32-ai ukazuje jazykový model s 28,9 milionu uložených parametrů, který běží přímo na mikrořadiči ESP32-S3. Autor uvádí cenu desky kolem 8 dolarů a rychlost přibližně 9,5 tokenu za sekundu. Běh modelu nevyžaduje vzdálený server.
Většina parametrů, přibližně 25 milionů, je uložená ve flash paměti. Model má při 4bitové kvantizaci velikost 14,9 MB. Projekt využívá přístup Per-Layer Embeddings, který umožňuje přesouvat část vah mezi flash pamětí a pracovní pamětí zařízení.
Důležité je omezení modelu. Byl trénovaný na datové sadě TinyStories a generuje hlavně jednoduché krátké příběhy. Podle autora není určený pro spolehlivé odpovídání na otázky, programování, práci se znalostmi ani obecné plnění instrukcí.
Autor repozitáře porovnává výsledek s dřívějšími experimenty na podobných čipech a uvádí předchozí maximum kolem 260 tisíc parametrů. Nejde ale o nezávisle ověřený rekord.
Hlavním přínosem projektu proto není kvalita generovaného textu. Zajímavá je především paměťová architektura a ukázka, že i levný mikrořadič může provozovat malý specializovaný jazykový model zcela lokálně.