Efektivní správa AI pracovních zátěží s Hugging Face a SkyPilot
Hugging Face a SkyPilot umožňují běh AI pracovních zátěží na různých cloudech bez poplatků za přenos dat.
V současnosti se stále více týmů potýká s problémem, kdy modely a datové sady jsou uloženy v jednom cloudu, zatímco výpočetní kapacita (například GPU) je dostupná v jiném. Tento rozpor může vést k dodatečným nákladům na přenos dat mezi různými cloudovými poskytovateli. Naštěstí spolupráce mezi Hugging Face a SkyPilot přináší řešení, které eliminuje poplatky za přenos dat a zjednodušuje správu AI pracovních zátěží.
Hugging Face Storage neúčtuje poplatky za egress, což znamená, že čtení dat na GPU je zdarma na jakémkoli cloudu. To umožňuje týmům číst modely a datové sady přímo z Hugging Face Buckets bez dodatečných nákladů. SkyPilot navíc umožňuje spouštět úlohy na více než 20 cloudech, Kubernetes a on-premise serverech, což poskytuje flexibilitu při výběru výpočetní kapacity.
Jednou z klíčových novinek je integrace funkce hf-mount, která umožňuje montování Hugging Face Buckets do SkyPilot úloh. Tato funkce využívá lazy reads, což znamená, že data se načítají pouze tehdy, když jsou potřeba. Tím se zrychluje proces trénování modelů, protože GPU může začít pracovat s daty téměř okamžitě, aniž by muselo čekat na kompletní stažení souboru.
Hugging Face Buckets jsou postaveny na technologii Xet, která umožňuje deduplikaci dat. To znamená, že při ukládání checkpointů nebo variant modelů se ukládají pouze unikátní části souborů, což šetří místo a čas při přenosu dat. Například, pokud se změní pouze část modelu, Xet uloží pouze tuto změněnou část, místo aby se přenášel celý soubor.
Cenová politika Hugging Face Storage je také výhodná, s náklady na ukládání mezi $12-18 za TB měsíčně, což je konkurenceschopné ve srovnání s AWS S3, kde náklady činí přibližně $23 za TB plus egress poplatky. Tímto způsobem Hugging Face Storage eliminuje potřebu migrace dat mezi různými cloudy.
V článku se také uvádí, že rychlost načítání modelu může dosáhnout až 500 MB/s a rychlost zápisu checkpointů je přibližně 170 MB/s. Tyto metriky ukazují na efektivitu systému a jeho schopnost rychle reagovat na požadavky uživatelů.
Zajímavé na tom je, že díky této spolupráci mohou týmy efektivněji využívat své rezervované kapacity GPU napříč různými cloudovými poskytovateli, aniž by se musely obávat dodatečných nákladů na přenos dat. To může zjednodušit workflow a umožnit rychlejší iteraci při trénování modelů.