Jak GPT vybírá náhodná čísla mezi 1 a 100
Studie zkoumá, jak GPT-4.1 vybírá náhodná čísla a odhaluje vzory v jeho výběru.
Náhodná čísla mají zvláštní místo v lidském myšlení. Když se lidí zeptáme, aby vybrali náhodné číslo mezi 1 a 100, často se objevují určité vzory a preference. Tento jev byl důkladně prozkoumán a nyní se ukazuje, že podobné chování může vykazovat i umělá inteligence, konkrétně model GPT-4.1.
Výzkum a metodologie
Podle výzkumu, který probíhal na GitHubu pod názvem "GPT Guesses Between 1 and 100", bylo provedeno 10 000 nezávislých pokusů o výběr čísla pomocí GPT-4.1. Cílem bylo zjistit, zda model generuje čísla s rovnoměrnou distribucí, nebo zda dědí lidské vzory, které jsme u lidí pozorovali. Je zajímavé, že lidé často volí čísla jako 37 nebo 73, zatímco kulatá čísla, jako 10 nebo 50, bývají opomíjena. Jak si tedy vedl model?
Experiment byl navržen tak, aby se zaměřil na čisté výstupy modelu. GPT-4.1 byl požádán, aby vybral pouze jedno celé číslo mezi 1 a 100, přičemž byl nastaven takzvaný teplotní parametr na hodnotu 1.0, což umožnilo modelu plně využít svou distribuční schopnost. Takový přístup zajistil, že model neměl tendenci se opakovat, což by se stalo při nižší teplotě.
Výsledky a analýza
Po provedení 10 000 pokusů byla získána data, která byla analyzována pomocí chí-kvadrátového testu shody. Výsledky ukazují, že GPT-4.1 nevytváří čísla podle rovnoměrné distribuce. Místo toho se některá čísla objevují výrazně častěji než jiná. Podle autorů experimentu se mezi nejvýraznějšími vzory objevila čísla 37, 42 a 73, zatímco kulatá čísla model téměř nepoužíval.
Toto chování může souviset s tím, že GPT-4.1 byl trénován na obrovském množství lidského textu, kde se podobné vzory opakují. Model tedy nefunguje jako klasický generátor náhodných čísel. Spíše vzorkuje z naučené distribuce odpovědí, které v daném kontextu působí jako vhodné. Zajímavou výjimkou bylo číslo 69: zatímco u lidí bývá často volené jako meme číslo, v tomto experimentu jej GPT-4.1 vybíral méně často, než by odpovídalo rovnoměrné distribuci.
Důsledky pro vývojáře
Pro vývojáře a odborníky na umělou inteligenci je důležité vědět, že i když modely jako GPT-4.1 mohou vypadat jako náhodné generátory, ve skutečnosti vykazují předpojatosti, které mohou ovlivnit jejich použití v různých aplikacích. Například, pokud byste chtěli implementovat systém, který na základě náhodného čísla dává doporučení, měli byste být opatrní, protože model by mohl preferovat určitá čísla, což by mohlo ovlivnit výsledky.
Tento výzkum také otevírá otázky o tom, jaký vliv mají tréninkové datové sady, prompt a nastavení vzorkování na chování modelů. Pokud modely vycházejí z lidských textových vzorů, může to znamenat, že i zdánlivě jednoduché odpovědi nesou stopy dat, na kterých byly trénovány. Pro další výzkum by bylo zajímavé zkoumat, jak se volba čísel mění u jiných modelů, jiného promptu nebo jiné teploty.
Závěr
Celkově vzato, výzkum ukazuje, že GPT-4.1 v tomto nastavení nevytváří čísla v souladu s rovnoměrnou distribucí. Místo toho generuje určité preference, které připomínají lidské vzory, ale nejsou jejich prostou kopií. To je důležité pro vývojáře: pokud aplikace potřebuje skutečnou náhodnost, neměla by ji získávat z jazykového modelu, ale z běžného generátoru náhodných čísel.