Detekce textů generovaných LLM pomocí klasických strojových modelů
Autor sdílí zkušenosti s detekcí AI-generovaných textů pomocí tradičních strojových modelů a dosahovanou přesností 85 %.
V roce 2026 se ukazuje, že texty generované velkými jazykovými modely (LLM) vykazují silné statistické vzory, které lze efektivně rozlišit od textu napsaného lidmi pomocí tradičních strojových modelů. Autor článku zmiňuje, že tento přístup může být podobný tomu, jak fungují některé detekční nástroje pro plagiátorství.
V rámci experimentu autor použil knihovnu scikit-learn a modely jako Linear SVC a Naive Bayes pro klasifikaci textu. Při trénování modelu dosáhl přesnosti 85 % na úrovni jednotlivých vět. Všechny testované modely vykázaly přesnost nad 85 % a F1 skóre nad 80 %. Detekční systém označuje věty jako AI-generované, pokud je označí alespoň 2 z 7 modelů.
Při testování na neznámých modelech dosáhl systém detekce úspěšnosti kolem 70 %. To naznačuje, že detekční systém může mít omezenou schopnost generalizace na texty generované modely, které nebyly zahrnuty do tréninkových dat. Při testování na fanfikcích z Lofteru dosáhl systém detekce až 83,4 % pro podezřelé AI-generované texty.
Dalším důležitým faktorem je míra falešně pozitivních výsledků. Při použití prahu 60 % byla tato míra pouze 0,04 %. To ukazuje na vysokou spolehlivost detekčního systému.
Autor také použil různé LLM API pro generaci tréninkových dat, včetně Gemini a Qwen. Tento přístup umožnil vytvořit vyvážený soubor dat, který obsahoval jak lidské, tak AI-generované texty.
Přesnost detekce modelu na testovacím souboru dosahuje 85 %, což je klíčové pro jeho praktické využití. F1 skóre všech testovaných modelů je nad 80 %, což potvrzuje jejich účinnost. Míra falešně pozitivních výsledků při použití prahu 60 % činí 0,04 %, což naznačuje vysokou spolehlivost detekčního systému.