Anthropic mění politiku ochrany Fable 5 pro výzkumníky AI
Anthropic oznámil změny v politice Fable 5, které zlepší viditelnost ochrany pro AI výzkumníky používající Claude.
Anthropic nedávno oznámil změny v politice ochrany Fable 5, které se dotýkají vývoje frontier LLM (velkých jazykových modelů). Podle prohlášení společnosti se ochrany nyní stanou viditelnými.
Původní politika zahrnovala neviditelné ochrany, které omezovaly efektivitu uživatelů bez jakéhokoli upozornění. Tento přístup, jak bylo uvedeno v systému karty Anthropic, vyvolal značnou kritiku. Anthropic se za tento "špatný kompromis" omluvil a přiznal, že se snažili najít rovnováhu mezi rychlostí nasazení a robustností ochrany, což se ukázalo jako nevhodné.
Od tohoto týdne budou označené požadavky viditelně přecházet na Opus 4.8, což je stejný systém ochrany, jaký se používá pro kybernetickou a biologickou bezpečnost. Uživatelé nyní uvidí důvod, proč byl jejich požadavek odmítnut, což by mělo usnadnit testování a zajištění robustnosti těchto ochranných mechanismů.
Zajímavé na tom je, že viditelné ochrany mohou být pro uživatele cenným nástrojem, protože umožňují lépe pochopit, jaké limity jsou na jejich požadavky aplikovány. To může vést k lepšímu porozumění schopnostem a omezením modelu.
Je však důležité poznamenat, že i když změny v politice mohou mít pozitivní dopady, konkrétní efekty na AI výzkum zatím nejsou jasné a mohou se vyvíjet v čase.