Efektivní správa AI pracovních zátěží s Hugging Face a SkyPilot
Hugging Face a SkyPilot umožňují spouštět AI úlohy na různých cloudech a číst modely nebo datasety z Hugging Face Storage bez egress poplatků.
Týmy často řeší situaci, kdy modely a datasety leží v jednom úložišti, ale dostupná GPU kapacita je v jiném cloudu. U AI workflow se pak náklady netýkají jen samotných GPU, ale také přesunu dat mezi úložištěm a výpočetním prostředím.
Hugging Face v článku popisuje integraci se SkyPilotem, která umožňuje spouštět úlohy napříč cloudy a číst modely nebo datasety z Hugging Face Storage bez egress poplatků. Důležité je ale rozlišení: týká se to hlavně čtení dat z Hugging Face Storage. Zápis checkpointů zpět do Hugging Face Bucketu může podle zdroje stále podléhat běžným egress nákladům compute cloudu.
SkyPilot umožňuje spouštět úlohy na více než 20 cloudech, Kubernetes a on-premise serverech. V kombinaci s Hugging Face Storage tak může vývojář nechat data na jednom místě a vybírat výpočetní kapacitu podle dostupnosti, ceny nebo interních pravidel.
Jednou z novinek je hf-mount, který umožňuje připojit Hugging Face Bucket přímo do SkyPilot úloh. Používá lazy reads, takže data se nenačítají celá dopředu. Úloha může začít pracovat dřív a jednotlivé části modelu nebo datasetu se čtou až ve chvíli, kdy jsou potřeba.
Hugging Face Buckets jsou postavené na Xet Storage. Ta používá deduplikaci, takže při ukládání checkpointů nebo variant modelů se nemusí ukládat celý soubor znovu. Pokud se změní jen část modelu, uloží se pouze nové části dat.
Zdroj uvádí cenu Hugging Face Storage přibližně 12 až 18 USD za TB měsíčně. Pro srovnání zmiňuje AWS S3 kolem 23 USD za TB měsíčně plus egress poplatky. Smyslem není tvrdit, že zmizí všechny náklady na přenos dat, ale že čtení modelů a datasetů z Hugging Face Storage do výpočetních úloh v jiných cloudech nemá egress poplatky.
V ukázkovém fine-tuningu modelu Qwen/Qwen3.5-4B na datasetu HuggingFaceH4/Multilingual-Thinking článek uvádí rychlost načítání modelu až kolem 500 MB/s a zápis checkpointů přibližně 170 MB/s. Tyto hodnoty popisují konkrétní testovací workflow, ne obecný benchmark pro všechny modely, datasety a cloudy.
Zajímavé na tom je hlavně oddělení datové a výpočetní vrstvy. Modely a datasety mohou zůstat v Hugging Face Storage, zatímco GPU úlohy běží tam, kde je zrovna vhodná kapacita. To může zjednodušit experimenty, fine-tuning i inference workloady napříč cloudy.
Pro týmy, které opakovaně čtou stejné datasety přes více epoch nebo načítají váhy modelů na inference uzly, může být podobné propojení praktické. Největší přínos není v tom, že by přenos dat přestal být téma úplně, ale v tom, že jedna z nejčastějších částí AI workflow — čtení dat do výpočtu — může být jednodušší a předvídatelnější z hlediska nákladů.