Studie nenašla přenos cenzurního chování z DeepSeek do GPT-OSS-120B
V jednom experimentu zaměřeném na finanční uvažování se měřené cenzurní chování učitelského modelu DeepSeek nepřeneslo v detekovatelné míře do GPT-OSS-120B.
Studie zkoumá, zda se při distilaci zaměřené na finanční uvažování přenese také měřené cenzurní chování učitelského modelu DeepSeek V4 Flash do GPT-OSS-120B.
V tomto konkrétním experimentu autoři detekovatelný přenos nenašli. Studentský model distilovaný z DeepSeek se v hodnocených citlivých tématech choval podobně jako základní GPT-OSS-120B a jako varianta vytvořená self-distillation.
Výzkumníci hodnotili 304 párových promptů. Každý výstup posuzovali čtyři nezávislí hodnotitelé. Otázky porovnávaly citlivá témata týkající se Číny a Ujgurů s kontrolními variantami.
Učitelský DeepSeek V4 Flash vykazoval výrazně větší rozdíl mezi citlivými a kontrolními otázkami. Číslo 71,21 ve studii představuje hodnotu na autory definované škále, nikoli obecné procento „síly cenzury“.
Ve finančním uvažování dosáhla distilovaná varianta GPT-OSS-120B úspěšnosti 83,61 % při rozpočtu 8 000 výstupních tokenů. Výkon a měřené cenzurní chování jsou dvě oddělené části experimentu.
Výsledek nelze zobecnit na všechny typy distilace, modely nebo politicky citlivá témata. Studie ukazuje pouze to, že v této metodice se sledované chování učitele nepřeneslo v detekovatelné míře.