Experiment s AI agenty: hráči přehlédli jednu ze tří hrozeb
Ve hře se schvalováním příkazů dosáhli účastníci průměrné přesnosti 66,3 %. Výsledky ale nelze přímo převést na běžnou práci s AI agenty.
Autor Scalex popisuje výsledky krátké hry zaměřené na schvalování příkazů AI agentů. Ve více než 40 000 herních sezeních měli účastníci rozhodovat, zda jednotlivé příkazy povolit, nebo zablokovat.
Průměrná přesnost podle zveřejněných výsledků dosáhla 66,3 %. Jinými slovy hráči v tomto konkrétním experimentu přehlédli přibližně jednu ze tří hrozeb.
To ale není možné číst jako obecnou chybovost lidí při práci s coding agenty. Autor výslovně upozorňuje, že nejde o akademickou studii ani realistickou simulaci běžného vývoje. Přibližně 34 % příkazů ve hře představovalo hrozbu a hráči navíc pracovali pod umělým časovým tlakem.
Rozpoznání hrozby versus blokování bezpečných příkazů
Výsledek není jen o tom, kolik škodlivých příkazů hráči zachytili.
Celkem 35,2 % účastníků dokázalo zablokovat všechny hrozby. Pouze 20,8 % ale současně udrželo počet falešně zablokovaných bezpečných příkazů pod jednou pětinou.
U 32,9 % sezení skončilo výsledné skóre záporně, protože penalizace za dvě různé chyby — schválené hrozby a zablokované bezpečné příkazy — převážily nad správnými rozhodnutími.
To ukazuje praktický problém permission dialogů: příliš přísné schvalování může blokovat legitimní práci, zatímco příliš benevolentní přístup nechá projít nebezpečnou akci.
Nenápadné příkazy byly těžší
Nejčastěji přehlíženým příkazem bylo npm run analyze, které účastníci schválili v 64,7 % případů.
Samotný název působí běžně, ale skript může ve skutečnosti spustit libovolné příkazy definované v projektu. Experiment tak testuje nejen znalost konkrétních shell příkazů, ale také schopnost rozpoznat riziko schované za zdánlivě běžným názvem.
Podle zdroje byly příkazy související s exfiltrací dat nebo spuštěním kódu přehlíženy přibližně třikrát častěji než zjevně destruktivní příkazy.
Co se dělo ke konci sezení
Autor pozoroval, že míra chyb v některých skupinách směrem ke konci sezení rostla.
Jedním vysvětlením může být únava ze schvalování. Zdroj ale zároveň upozorňuje na jinou možnost: účastníci viděli ubíhající čas, takže část efektu mohl způsobovat jednoduše časový tlak.
Z výsledků proto není možné samostatně prokázat klasickou „permission fatigue“.
Sedm procent účastníků schválilo úplně každý příkaz. Samotná data ale neříkají proč, takže z toho nelze spolehlivě vyvozovat jejich důvěru v AI nebo úroveň bezpečnostního povědomí.
Co z experimentu prakticky plyne
Experiment neposkytuje přesný odhad toho, kolik nebezpečných akcí lidé schválí při skutečném používání Claude Code, Codexu nebo jiného agenta.
Je ale užitečný jako ukázka rozdílu mezi zjevnými a nenápadnými hrozbami. Pokud bezpečnost systému stojí jen na tom, že člověk správně posoudí každý jednotlivý shell příkaz, musí návrh počítat s falešnými povoleními i falešnými blokacemi.
Praktická otázka proto není jen „má uživatel potvrdit příkaz?“, ale také jaké informace mu systém při rozhodování ukáže, které akce může automaticky omezit a které typy rizik dokáže vyhodnotit ještě před tím, než se k člověku vůbec dostanou.