Wattage: Nástroj pro analýzu nákladů AI agentů
Wattage analyzuje OpenTelemetry trace agentů, hledá plýtvání tokeny a může upozornit na nákladové regrese v CI.
Wattage je open source nástroj pro lokální analýzu nákladů AI agentů. Pracuje s již vytvořenými OpenTelemetry trace a hledá vzory, které mohou zvyšovat spotřebu tokenů nebo počet nástrojových volání.
Projekt obsahuje osm detektorů. Zaměřují se například na opakované volání stejného nástroje, neefektivní smyčky a další vzory, které autor repozitáře považuje za plýtvání.
Wattage může běžet v CI a ukončit kontrolu chybou, pokud změna překročí nastavený nákladový limit. Nástroj funguje offline a nevyžaduje API klíč. Před použitím je ale potřeba agenta instrumentovat a dodat mu OTLP trace.
Součástí výstupu je skóre efektivity od 0 do 100. Jde o metriku navrženou samotným projektem, nikoli o obecně zavedený standard.
Autoři uvádějí ve svých testech stoprocentní zachycení vybraných neefektivních smyček a simulované úspory až 44,7 %. Tato čísla pocházejí z benchmarků projektu. Nejde o nezávislé měření ani o záruku stejné úspory v produkčním provozu.
Wattage může být užitečný hlavně jako kontrola regresí. Simulovaná úspora ale není totéž jako skutečné snížení faktury, které závisí na modelu, cenách poskytovatele a chování konkrétního agenta.
Projekt je licencovaný pod Apache 2.0.