Jak AI modely kreslily Monu Lisu a Hvězdnou noc pomocí nástrojů
Experiment porovnal čtyři modely při agentním ovládání kreslicích nástrojů. Objektivní metrika a subjektivní hodnocení autorů ale ukázaly různé vítěze.
Experiment porovnal čtyři modely: GPT-5.6 Sol, Claude Fable 5, Grok 4.5 a Gemini 3.6 Flash. Každý z nich agentně ovládal omezenou sadu nástrojů pro kreslení barevnými tužkami na prázdné plátno.
Každý model vytvořil sedm kreseb. Dvě úlohy byly zaměřené na reprodukci Mony Lisy a Hvězdné noci, dalších pět pracovalo s volnějším textovým zadáním. Celkem tak vzniklo 28 výstupů.
U dvou reprodukcí autoři použili metriky SSIM a RMSE. SSIM měří strukturální a pixelovou podobnost vůči cílovému obrazu, nikoli celkovou uměleckou kvalitu.
Podle SSIM dosáhl nejvyššího finálního i nejlepšího průběžného skóre Gemini 3.6 Flash. U Mony Lisy měl finální hodnotu 0,337 a nejlepší průběžnou hodnotu 0,449. U Hvězdné noci dosáhl finálního skóre 0,172 a maxima 0,190.
GPT-5.6 Sol měl u Mony Lisy finální skóre 0,325 a maximum 0,352. U Hvězdné noci skončil na 0,130 a maximum bylo 0,179. Autoři experimentu ale jeho výstupy subjektivně označili za celkově nejlepší. To ukazuje rozdíl mezi strukturální podobností a tím, jak přesvědčivě kresba působí na člověka.
Zajímavým výsledkem je také práce s průběžnými úpravami. Ve všech osmi reprodukcích bylo finální SSIM nižší než nejlepší hodnota dosažená v některé předchozí fázi. Modely tedy neuměly spolehlivě rozpoznat okamžik, kdy už další zásahy výsledek zhoršují.
Výrazně se lišily náklady a časy. GPT-5.6 Sol stál celkem 7,74 dolaru a průměrně potřeboval 6,2 minuty na kresbu. Claude Fable 5 stál 160,58 dolaru a průměrná doba byla 12,5 minuty. Grok 4.5 vyšel na 9,21 dolaru a 4,8 minuty, Gemini 3.6 Flash na 12,87 dolaru a 6,9 minuty.
Autoři experimentu hodnotili výstupy Groku 4.5 jako většinou nepoužitelné. Také v obou cílových úlohách dosáhl nejnižšího SSIM. Jde ale stále o jeden konkrétní agentní test s omezenou sadou kreslicích nástrojů, nikoli o obecné hodnocení vizuálních schopností modelu.
Experiment proto neukazuje jednoho jednoznačného vítěze. Gemini 3.6 Flash vedl podle SSIM, zatímco GPT-5.6 Sol získal nejlepší subjektivní hodnocení autorů a zároveň patřil k nejlevnějším variantám.