NoveltyBench: změna promptu srazila přesnost GPT-5.4 z 93,5 na 40,9 %
Benchmark Ai2 ukazuje, že verdikt LLM o novosti výzkumného nápadu výrazně závisí na promptu, modelu i typu hodnocených nápadů.
Ai2 zveřejnilo benchmark NoveltyBench pro ověřování systémů, které pomocí velkých jazykových modelů posuzují novost vědeckých nápadů. Výsledky neříkají, že LLM neumějí novost hodnotit vůbec. Ukazují však, že vysoké skóre v jednom nastavení nemusí přežít ani malou změnu promptu a že test pouze na lidských návrzích může zakrýt nestabilitu při práci s nápady vytvořenými AI.
Jak vznikla referenční data
Autoři nevzali přijetí článku na ICLR 2026 jako automatický důkaz novosti. Z recenzí vytěžili pasáže, ve kterých recenzenti originalitu výslovně chválili nebo zpochybňovali. Tak sestavili 154 lidských nápadů s vysokou evidencí novosti a 145 s nízkou evidencí. Kontrola jednoho anotátora souhlasila s polaritou vytěženého signálu ve 47 z 50 případů; tři neshody by podle autorů nezměnily zařazení recenze.
Dataset Human+Generated páruje 154 validovaných lidských nápadů se 154 návrhy jednoduchého LLM generátoru. Zde je důležité omezení: autoři předpokládali, že generované návrhy jsou méně nové. Jde tedy o slabé štítky, ne o nezávisle prokázanou novost každého páru. Expert dodatečně posoudil 30 párů a vždy preferoval lidský nápad, vzorek ale záměrně obsahoval hlavně případy, kde nejsilnější hodnotitel chyboval.
Stejné nápady, opačné verdikty
Šest LLM hodnotitelů dostávalo stejné nápady, zatímco výzkumníci měnili prompt, rozpočet na reasoning, dostupnost souvisejících článků, formát vstupu a způsob agregace verdiktů. Největší rozdíly způsoboval prompt.
U GPT-5.4 vedl prompt, který modelu sdělil, že právě jeden ze dvou nápadů recenzenti označili jako nový, k přesnosti 93,5 % na Human+Generated. Jednodušší otázka, který nápad je nový, snížila přesnost na 40,9 % a změnila více než polovinu verdiktů nad stejnými páry. Na Human-Only stejná úprava posunula výsledek asi o sedm procentních bodů; u Claude Opus 4.6 však jiný test na této sadě ukázal změnu o 21 bodů. Autoři nenašli prompt, který by byl lepší pro všechny modely.
Více vyhledávání a výpočtu také automaticky nepomohlo. Agentní GPT-5.6 Sol s živým hledáním na arXivu dosáhl na Human+Generated macro-F1 0,78, zatímco Claude Opus 4.6 s jednodušším nastavením 0,89. Agentní varianta přitom podle cen v době studie stála přibližně desetkrát více na jedno rozhodnutí.
Praktický závěr není „vyberte nejlepší model“. Pokud má novelty judge rozhodovat o výzkumném pipeline, je potřeba zveřejnit přesný prompt a podmínky, zkoušet více formulací a modelů a měřit, kolik verdiktů se mezi nimi změní. Jediné skóre z jednoho promptu stabilitu takového hodnotitele nedokládá.