Ai2: OlmoEarth v1.3 vedl ve 20 z 27 testů satelitních embeddingů
Ai2 zveřejnilo globální 10metrové embeddingy ve 64 a 128 rozměrech. Výsledky pocházejí z hodnocení autorů proti AlphaEarth Foundations a Tessera v2.
Allen Institute for AI (Ai2) zveřejnil OlmoEarth v1.3, model pro převod časových řad satelitních snímků do kratších číselných reprezentací. Spolu s vahami a kódem vydal předpočítané roční embeddingy celé planety v rozlišení 10 metrů a ve variantách se 64 nebo 128 rozměry.
Podle hodnocení autorů dosáhla 128rozměrná varianta nejvyššího skóre ve 20 z 27 evaluací proti AlphaEarth Foundations a Tessera v2. Poloviční, 64rozměrná varianta vedla v 18 z 27. Testy pokrývaly šest kontinentů a různé úlohy, nejde však o nezávislý benchmark ani o důkaz převahy ve všech aplikacích dálkového průzkumu Země.
Jeden vektor spojuje rok satelitních pozorování
Model přijímá časové řady radarových dat Sentinel-1 a multispektrálních dat Sentinel-2 a Landsat. Vision Transformer je převede na tokeny a Attention Pooler je sloučí přes čas, prostor a jednotlivé modality. Lineární projekce pak vytvoří pro každý 10metrový pixel jeden 128rozměrný vektor; jeho prvních 64 složek lze použít jako menší embedding.
Předpočítaný vektor se dá opakovaně využít pro více úloh. Pro klasifikaci plodin nebo krajinného pokryvu je stále potřeba natrénovat menší klasifikátor nad embeddingy, už ale není nutné pro každou úlohu znovu spouštět celý satelitní model. Při porovnávání změn mezi roky lze pracovat přímo s rozdílem vektorů a hledat místa, jejichž reprezentace se nejvíce změnila.
Ai2 uvádí příklady od mapování drobných zemědělských ploch přes detekci cihelen a škod po požárech až po sledování těžby zlata. Předpočítaná data jsou dostupná přes Source Cooperative a pro průzkum bez lokálního GPU slouží webový OlmoEarth Embeddings Explorer.
Levnější trénink neznamená levnou globální službu
Autoři uvádějí, že pretraining v1.3 spotřeboval 53 % GPU času oproti v1.2 a 18 % oproti první verzi. Odhad 2 720 dolarů se týká pronájmu H100 pro finální pretraining běh základního modelu. Nezahrnuje vývojové experimenty, přípravu dat ani výpočet a distribuci globálních embeddingů, takže jej nelze číst jako celkovou cenu reprodukce celé služby.
Technická zpráva popisuje otevřené váhy, trénovací data, kód a metodiku. Současně ukazuje hranici publikovaných výsledků: skóre shrnují zvolenou sadu evaluací a konkrétní klasifikátory. Při rozhodování pro vlastní projekt je proto důležitější výkon na jeho lokalitě, časovém období a typu značek než samotný počet vyhraných testů.