Jak Databricks a další firmy řídí náklady na AI coding

Databricks na svém firemním blogu popisuje zkušenosti s řízením nákladů na AI coding nástroje ve větších týmech. Autoři tvrdí, že rychle rostoucí spotřeba modelů je problém, se kterým se setkávají i další firmy, s jejichž zástupci o tématu mluvili.

Nejde o nezávislou studii celého trhu. Část doporučení vychází z interních zkušeností Databricks a část z rozhovorů s lidmi ze společností jako Stripe, Coinbase, Uber nebo Ramp.

Hledání nejlepšího poměru ceny a kvality

Databricks používá pojem efficiency frontier: cílem není automaticky nasadit nejlevnější nebo otevřený model, ale najít nejnižší cenu, při které model stále splňuje požadovanou kvalitu.

To znamená průběžně přehodnocovat nové modely na interních evalech. Novější model může být levnější nebo rychlejší, ale pokud kvalitou nestačí pro konkrétní pracovní postup, úspora sama o sobě nestačí.

Stejně tak dražší model nemusí být výhodný, pokud jeho kvalitativní zlepšení neodpovídá vyšší ceně.

Flexibilita mezi modely a harnessy

Autoři doporučují nesvázat celý pracovní postup s jedním modelem nebo jedním coding nástrojem.

Takzvané meta-harnessy mohou nabídnout společnou vrstvu nad více modely a umožnit rychlejší přepínání podle ceny, kvality nebo typu úlohy.

Praktický přínos není v tom, že by každý vývojář měl ručně neustále měnit model. Jde spíš o snížení nákladů na migraci v situaci, kdy se relativní cena a schopnosti modelů mění rychle.

Dynamické směrování úloh

Další možností je automaticky volit model podle konkrétního požadavku.

Zdroj to neprezentuje jako vyřešenou techniku pro každý tým. Mluví o rostoucím výzkumu a prvních výsledcích. Databricks uvádí vlastní interní experiment, ve kterém dynamické směrování snížilo průměrnou cenu úlohy o více než 30 % při přibližně stejné kvalitě jako nejdražší model v použité sadě.

Jde ale o interní výsledek Databricks, ne o obecný benchmark model routingu.

Tvrdé limity až jako poslední možnost

Databricks uvádí, že firmy, se kterými o tématu mluvil, většinou nepovažují pevný rozpočtový strop pro každého vývojáře za první volbu.

Tvrdý limit může zastavit užitečnou práci ve chvíli, kdy uživatel narazí na hranici. Preferovaným přístupem má být nejprve dobrá viditelnost nákladů, upozornění a postupně přísnější omezení.

To není důkaz, že rozpočtové limity jsou obecně neefektivní. Je to doporučení vycházející z konkrétních firemních zkušeností.

Méně zbytečných tokenů

Databricks popisuje také úpravy samotného coding harnessu a cache.

Podle firmy vedly k téměř 50% snížení počtu generovaných tokenů a souvisejících nákladů, aniž by v jejich interním měření pozorovali zhoršení kvality.

Důležitá pointa je, že cenu neurčuje jen sazba modelu za token. Významnou roli může hrát také délka systémových instrukcí, opakované předávání stejného kontextu, cache a způsob, jakým agent řídí jednotlivé kroky.

Centrální gateway

Databricks pro správu přístupu k modelům používá Unity AI Gateway.

Centrální gateway může sjednotit sledování spotřeby, řízení přístupu, výběr modelů a další provozní pravidla. Pro velkou organizaci je tím možné získat přehled, který jednotlivé lokální klienty samy neposkytují.

Zdroj je zároveň produktovým blogem Databricks, takže zmínku o Unity AI Gateway je vhodné číst i jako součást jejich vlastního produktového přístupu.

Celkově je užitečnější chápat text jako soubor provozních zkušeností než jako univerzální recept. Nejdůležitější společný princip je průběžně měřit kvalitu i cenu a zachovat dostatečnou flexibilitu, aby bylo možné model nebo harness změnit, když se poměr ceny a výkonu posune.