OpenAI představila vlastní inference procesor Jalapeño
OpenAI oznámila svůj první inference procesor Jalapeño, vyvinutý ve spolupráci s Broadcom.
OpenAI nedávno oznámila svůj první vlastní inference procesor nazvaný Jalapeño, který byl vyvinut ve spolupráci s Broadcom. Tento čip je navržen specificky pro potřeby inference systémů OpenAI, což znamená, že je optimalizován pro běh předem vytvořených AI modelů.
Podle OpenAI čip Jalapeño vykazuje výrazně lepší výkon na watt než současné alternativy. Rané výsledky testování naznačují, že čip by mohl přinést úspory na provozních nákladech při běhu real-time kódovacích modelů.
Partnerství s Broadcom, které bylo oficiálně oznámeno v říjnu, bylo dlouho spekulováno jako krok k redukci závislosti OpenAI na GPU od Nvidie. OpenAI se tak snaží vyvinout vlastní infrastrukturu, která zahrnuje nejen čipy, ale i další komponenty, jako jsou paměťové systémy a nasazovací systémy. Tímto způsobem chce firma optimalizovat každou vrstvu své technologie.
OpenAI plánuje optimalizaci inference systémů jako klíčový faktor v ekonomice AI. Jalapeño je stále v testování, ačkoliv jeho výkon může být ovlivněn budoucími úpravami.