Spolehlivost LLMs při hodnocení novosti vědeckých nápadů
Studie ukazuje, jak malé změny v nastavení hodnocení ovlivňují spolehlivost LLMs při posuzování novosti výzkumných nápadů.
V nedávné studii se zkoumala spolehlivost velkých jazykových modelů (LLMs) při hodnocení novosti vědeckých nápadů. Autoři zjistili, že hodnocení novosti je velmi citlivé na drobné změny v nastavení, což může mít za následek rozdíly v přesnosti o více než 50 procentních bodů. To naznačuje, že současné metody hodnocení novosti nejsou dostatečně spolehlivé a vyžadují další výzkum.
Studie zahrnovala testování šesti jazykových modelů, konkrétně GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 a Claude Opus 4.6, na hodnocení novosti nápadů. V rámci experimentu byly použity stejné nápady, přičemž se měnily pouze prompty a nastavení hodnocení. Například u modelu GPT-5.4 se přesnost hodnocení snížila z 93.5% na 40.9% při změně promptu. To ukazuje, jak dramaticky může změna formulace ovlivnit výsledky hodnocení.
Dále bylo zjištěno, že dva specializované systémy pro hodnocení novosti vykazovaly horší výsledky než jednoduchý model Claude Opus 4.6, což naznačuje, že složitější přístupy nemusí vždy přinášet lepší výsledky. Claude Opus 4.6 dosáhl na Human+Generated dataset skóre 0.89, což ukazuje na jeho vysokou přesnost při hodnocení novosti.
Autoři také zdůraznili, že hodnocení novosti AI generovaných nápadů je stále problematické. Různé prompty mohou vést k dramaticky odlišným výsledkům, což činí spolehlivost těchto hodnocení velmi nízkou. Tímto způsobem se ukazuje, že i když LLMs mohou být užitečné při generování nápadů, jejich schopnost posoudit, zda jsou tyto nápady skutečně nové, je značně omezená.
Pro reprodukci experimentu autoři doporučují používat stejnou sadu nápadů a měnit prompt pro hodnocení. Je důležité testovat různé jazykové modely a jejich nastavení hodnocení, aby se zjistilo, jak se výsledky liší. Také upozorňují na to, že hodnocení novosti není spolehlivé pro AI generované nápady, což je klíčový faktor pro budoucí výzkum v této oblasti.
Hodnocení novosti je citlivé na formulaci promptu, což může dramaticky ovlivnit výsledky. Zatímco GPT-5.4 vykazuje vysokou přesnost s určitým promptem, při změně promptu se přesnost dramaticky snižuje. To ukazuje, že hodnocení novosti AI generovaných nápadů je stále problematické a vyžaduje další výzkum.