Az NVIDIA a GB200 NVL72 és az OpenAI gpt-oss modellekkel növeli az AI teljesítményét

Az NVIDIA az OpenAI-val együttműködve jelentős előrelépést jelentett be az AI teljesítménye terén, kihasználva az NVIDIA GB200 NVL72 rendszer erejét. Az OpenAI gpt-oss-20b és gpt-oss-120b modellek közelmúltbeli bevezetése akár 1,5 millió token/másodperc (TPS) teljesítményt ígér, ami az NVIDIA szerint jelentős ugrást jelent az AI-feldolgozási képességek terén.

Továbbfejlesztett AI-képességek

A szöveges érvelési képességeikről ismert gpt-oss modellek a SwigGLU-aktiválásokkal rendelkező szakértők keveréke (MoE) architektúra segítségével készülnek. Ezek a modellek RoPE-t használnak a 128k kontextushosszúságot támogató figyelemrétegekhez, és az NVIDIA Blackwell architektúrájára optimalizálták őket. FP4 pontossággal kerülnek kiadásra, kompatibilisek egy 80 GB-os adatközpont GPU-val, és az NVIDIA fejlett hardverére optimalizáltak.

Együttműködő fejlesztések

Az NVIDIA együttműködése az OpenAI-val kiterjed különböző nyílt forráskódú keretrendszerekre, köztük az Hugging Face Transformers és az NVIDIA TensorRT-LLM modellek teljesítményének és a fejlesztők hozzáférhetőségének javítása érdekében. Különösen a gpt-oss-120b modellhez volt szükség kiterjedt képzésre, amely több mint 2,1 millió GPU-órát tett ki.

Műszaki specifikációk

A gpt-oss-20b és a gpt-oss-120b modellek számos specifikációval rendelkeznek, hogy megfeleljenek a különböző AI-igényeknek. Ezek közé tartoznak a változó transzformátorblokkok száma, az összes paraméter és a szakértői konfigurációk, amelyeket az NVIDIA platformjain a következtetési teljesítmény optimalizálására terveztek.

Telepítési lehetőségek

Az NVIDIA többféle telepítési lehetőséget kínál a fejlesztők számára, beleértve a vLLM és a TensorRT-LLM használatát a szerver beállításához és a teljesítmény optimalizálásához. A GB200 NVL72 rendszer nagy áteresztőképességű, akár 50 000 egyidejű felhasználó hatékony befogadására is alkalmas.

Jövőbeli kilátások

E fejlett modellek bevezetésével az NVIDIA célja, hogy az AI-alkalmazások széles spektrumát támogassa a felhőtől az élekig. A gpt-oss modellek különböző platformokon történő integrálására irányuló erőfeszítéseik rávilágítanak az AI infrastruktúra és a fejlesztői élmény javítása iránti elkötelezettségükre.

A modellek telepítéséről és képességeiről további részletekért látogasson el az NVIDIA blogjára.

A kép forrása: Shutterstock

Via: Blockchain News