Claude-real-video: Jak LLM mohou sledovat videa
Nástroj `claude-real-video` připraví video pro jazykový model pomocí snímků, přepisu a manifestu. Zpracování probíhá lokálně a uživatel rozhoduje, co modelu předá.
Nástroj claude-real-video ukazuje praktický přístup k tomu, jak připravit video pro analýzu jazykovým modelem. Neznamená to, že LLM nativně přehrává video jako člověk. Nástroj lokálně z videa vytvoří výstupy, se kterými pak model může pracovat: vybrané snímky, přepis zvuku a soubor MANIFEST.txt.
Zpracování probíhá na lokálním počítači. Uživatel si tak může sám vybrat, které snímky, přepis nebo manifest následně předá jazykovému modelu. To je důležité hlavně u videí, která nechce nahrávat celá do cizí služby.
Jednou z hlavních funkcí claude-real-video je extrakce snímků podle změny scény. Místo toho, aby nástroj vybíral snímky v pevných intervalech, snaží se zachytit skutečné změny v obsahu videa a odstranit duplicitní snímky. Výsledkem má být menší sada relevantních obrázků, kterou lze snáze předat modelu.
Nástroj využívá ffmpeg pro práci s videem a zvukem. Uživatelé mohou zpracovávat lokální soubory i videa z podporovaných online zdrojů, například YouTube nebo Instagramu. Pomocí parametru --scene lze upravit citlivost detekce změn ve scéně.
Zvuková část se může převést na text pomocí Whisperu. Pokud video obsahuje titulky, nástroj je může využít jako přepis a nemusí audio znovu transkribovat. Volba --keep-audio umožní uložit původní zvukovou stopu zvlášť. Tu lze případně předat modelům, které umí pracovat se zvukem, například multimodálním modelům. Běžný textový LLM ale dál pracuje hlavně se snímky, přepisem a manifestem.
Novější verze nástroje přidává také praktické parametry jako --why, kterým lze popsat účel analýzy videa, nebo --kb, který uloží výstup do znalostní báze. To může být užitečné, pokud se video nemá analyzovat jen jednorázově, ale má se stát součástí širšího kontextu pro další práci.
Výsledkem zpracování je složka s vybranými snímky, případným přepisem, zvukem a souborem MANIFEST.txt, který shrnuje připravené výstupy. Tento manifest pomáhá modelu i uživateli lépe se zorientovat v tom, co bylo z videa extrahováno.
claude-real-video je licencovaný pod MIT licencí. Uživatelé by měli zpracovávat a stahovat pouze obsah, ke kterému mají potřebná práva.