Proč se vyhnout žádání LLM o skóre důvěryhodnosti

Žádání jazykových modelů (LLM) o generování skóre důvěryhodnosti je podle autora zcela neužitečné. Autor uvádí, že za tímto požadavkem neexistuje žádná vědecká validita, a že se jedná spíše o psychologický trik, který má uživatelům poskytnout pocit důvěryhodnosti bez skutečného zlepšení kvality výstupu.

LLM nemohou spolehlivě kvantifikovat svou vlastní důvěru. Autor cituje výzkum, který ukazuje, že schopnost modelů posoudit svou správnost je vysoce nespolehlivá a závislá na kontextu. To znamená, že i když model může vykazovat určité známky introspekce, není schopen přesně vyhodnotit, jak správné jeho odpovědi jsou.

Dalším problémem je, že skóre důvěryhodnosti je často používáno jako proxy pro správnost odpovědi. Většina žádostí o toto skóre ve skutečnosti odráží snahu uživatelů potvrdit správnost generovaných odpovědí. To je problematické, protože modely mají tendenci být systematicky overconfident, což znamená, že se často prezentují jako jistější, než ve skutečnosti jsou. Tento jev vyžaduje post-hoc korekci, což dále zpochybňuje užitečnost skóre důvěryhodnosti.

Důvěra není jednotná napříč odpovědí. Různé části odpovědi mohou mít různé úrovně důvěry, což nelze shrnout do jednoho čísla. Například, model může být jistý v jedné části odpovědi, ale v jiné může mít značné pochybnosti. To ukazuje, že jednoduché skóre od 0 do 100 je nedostatečné pro komplexní hodnocení kvality odpovědi.

Existují alternativní metody pro měření důvěry, jako je semantická entropie, které vyžadují opakované vzorkování a externí srovnání. Tyto metody mohou poskytnout přesnější obrázek o důvěře modelu, ale jsou mnohem složitější než jednoduché skóre generované modelem.

Autor také navrhuje, že skóre důvěryhodnosti by mělo být definováno pomocí malého počtu kategorických štítků místo kontinuálního měřítka. Kontinuální měřítka mají tendenci být zavádějící a méně užitečné. Pokud model ví, že je něco špatně, měl by to opravit místo toho, aby vydával skóre důvěryhodnosti. Pokud model rozpozná chybu, měl by ji opravit, nikoli pouze informovat uživatele o své nejistotě.

Zajímavé na tom je, že autor zdůrazňuje psychologické aspekty spojené s důvěrou v LLM. Skóre důvěryhodnosti může poskytnout uživatelům falešný pocit jistoty, což může vést k neadekvátním rozhodnutím na základě generovaných odpovědí.