Proč po LLM nechtít jedno skóre důvěry

Justin Flick argumentuje, že žádat jazykový model o jedno číselné skóre vlastní důvěry je zavádějící. Model může číslo přesvědčivě vygenerovat, ale samotná hodnota nemá bez kalibrace jasný vztah ke skutečné pravděpodobnosti správné odpovědi.

Jedním z problémů je, že nejistota není stejná v celé odpovědi. Model může správně uvést obecný fakt, ale současně si domyslet konkrétní číslo, datum nebo citaci. Jedno skóre od 0 do 100 tyto rozdíly zakryje.

Flick také upozorňuje na sklon modelů k příliš sebejistým odpovědím. Volně vygenerované skóre proto může vytvořit falešný pocit jistoty, místo aby uživateli pomohlo odpověď ověřit.

To neznamená, že nejistotu modelů nelze měřit vůbec. Jiné metody mohou pracovat například s opakovaným vzorkováním, rozdíly mezi odpověďmi, logity nebo externí kalibrací. Takové postupy jsou ale odlišné od prostého promptu „uveď confidence score“.

Praktičtější je požádat model, aby:

• oddělil ověřená a neověřená tvrzení,
• uvedl zdroje,
• označil konkrétní místa, kde si není jistý,
• navrhl způsob ověření,
• u kritických úloh prošel externím evalem nebo lidskou kontrolou.

Pokud je potřeba jednoduchý výstup, mohou být vhodnější kategorie jako „ověřeno“, „odhad“ a „chybí zdroj“. Ani ty ale nenahrazují skutečné ověření správnosti.