Proč podle Seana Goedeckeho LLM odměňují odbornost

Sean Goedecke ve svém komentáři tvrdí, že při práci s velkými jazykovými modely je často důležitější znalost dané oblasti než obecné techniky promptování. Nejde o výsledek nezávislé studie, ale o autorovu zkušenost s používáním modelů při programování a dalších odborných úlohách.

Jako příklad uvádí matematika Terence Taa a jeho konverzaci s ChatGPT o nedávno zveřejněném protipříkladu souvisejícím s Jacobian Conjecture. Goedecke upozorňuje, že Tao píše stručně, zaměřuje se na podstatu odpovědi, rozpoznává podezřelé kroky a sám navrhuje další směry řešení.

Podle Goedeckeho tak odborník nezískává výhodu pouze tím, že napíše přesnější prompt. Dokáže také posoudit, zda odpověď dává smysl, odmítnout nevhodný návrh, zasadit řešení do širšího kontextu a model přesměrovat k užitečnějšímu postupu.

Autor tento rozdíl neformálně popisuje jako přepnutí z „vysvětlování laikovi“ do „rozhovoru mezi matematiky“. Nejde o skutečný technický režim modelu. Odpověď se pouze přizpůsobuje odbornému stylu konverzace a informacím, které uživatel do dialogu přináší.

Goedecke zároveň netvrdí, že jsou jazykové modely užitečné pouze odborníkům. I člověku bez hlubších znalostí mohou pomoci vytvořit první použitelný výsledek, zorientovat se v tématu nebo rychleji proniknout do nové oblasti.

Odbornost podle něj začíná hrát větší roli ve chvíli, kdy je potřeba výstup kontrolovat, řešit neobvyklé případy nebo model vést při složitější práci. Uživatel bez znalosti oboru nemusí rozpoznat sebejistou chybu ani vědět, zda navržený postup opomíjí důležité omezení.

Příklad Terence Taa ale není kontrolovaným srovnáním odborníka a neodborníka. Neukazuje pomocí konkrétní metriky, o kolik přesnější nebo efektivnější odborná práce s modelem je. Slouží hlavně jako ilustrace Goedeckeho argumentu.

Praktický závěr je proto střízlivější: jazykové modely mohou rozšířit možnosti neodborníků, ale nesnižují hodnotu znalosti dané oblasti. Čím náročnější je úloha a čím důležitější je správnost výsledku, tím více záleží na schopnosti odpověď posoudit, ověřit a případně odmítnout.