Az NVIDIA Jetson AGX Thor 7x-es teljesítménynövekedéssel javítja az Edge AI modelleket

Az NVIDIA jelentős fejlesztéseket mutatott be a Jetson AGX Thor platformjában, amely a generatív AI teljesítményének figyelemre méltó, 7-szeres növekedését ígéri a 2025 augusztusi bevezetése óta. Ez a fejlesztés az NVIDIA blogja szerint aláhúzza az NVIDIA elkötelezettségét a szoftveres ökoszisztéma folyamatos optimalizálása mellett.

Fokozott teljesítmény a szoftverfrissítések révén

A Jetson AGX Thor eredetileg a korábbi modellekhez képest 5x nagyobb teljesítménynövekedéssel indult, de a rendszeres szoftverfrissítések révén tovább bővültek a képességei. Ezek a frissítések lehetővé tették a fejlesztők számára, hogy kihasználják az olyan AI-modellek jelentős fejlesztéseit, mint a Llama és a DeepSeek. Az NVIDIA megközelítése magában foglalja a vezető modellek támogatását röviddel a megjelenésük után, lehetővé téve a fejlesztők számára, hogy gyorsan kísérletezzenek a legújabb AI-technológiákkal.

Fejlett AI-technikák és támogatás

A Jetson Thor platform támogatja a főbb kvantálási formátumokat, beleértve az NVIDIA Blackwell GPU-architektúrájából származó új NVFP4-et is. Ez segít a következtetés optimalizálásában, ami az edge computing egyik kulcsfontosságú összetevője. Az olyan új technikák, mint a spekulatív dekódolás mostantól támogatottak, jelentősen felgyorsítva a generatív AI-munkaterhelést a peremeken. A spekulatív dekódolás különösen a másodpercenkénti kimeneti tokenek 7-szeresére növelte a kimeneti tokeneket, amint azt a Llama 3.3 70B modellel végzett benchmarkok bizonyították.

Folyamatos optimalizálás és összehasonlító tesztek

A közelmúltbeli frissítések, például a vLLM konténer kiadása tovább javította a Jetson Thor teljesítményét. Például a platform most akár 3,5x nagyobb teljesítményt nyújt ugyanazon modell és kvantálás esetén a kezdeti indítási teljesítményhez képest. Ezt bizonyítják a másodpercenként megnövekedett kimeneti tokeneket mutató benchmarkok olyan modelleken, mint a Llama 3.3 70B és a DeepSeek R1 70B.

0. napi támogatás és jövőbeli kilátások

A fejlesztők kihasználhatják az új modellek 0. napi támogatását a Jetson Thoron, amit jól példáz a gpt-oss korai támogatása olyan platformokon, mint az llamacpp/ollama. Ez biztosítja, hogy a fejlesztők késedelem nélkül futtathassák a legújabb generatív AI-modelleket az élen. Az NVIDIA emellett számos NVIDIA Nemotron modellhez is biztosítja a nulladik heti támogatást, ami tovább növeli a platform sokoldalúságát.

Az AI teljesítményének optimalizálása

A Jetson Thorban rejlő lehetőségek teljes körű kihasználásához az NVIDIA olyan technikák alkalmazását javasolja, mint a kvantálás és a spekulatív dekódolás. A kvantálás, amely csökkenti a modell adatainak numerikus pontosságát, kisebb memóriaterületet és gyorsabb memóriaelérést tesz lehetővé, ami kulcsfontosságú az éles alkalmazások számára. A spekulatív dekódolás egy vázlatos-ellenőrző megközelítéssel növeli a teljesítményt, jelentősen csökkentve a késleltetést.

Ezeket a technikákat az NVIDIA vLLM és EAGLE-3 támogatásával kombinálva a fejlesztők jelentős teljesítményjavulást érhetnek el a nagy nyelvi modellek esetében a Jetson Thor platformon. Ez meggyőző választást jelent azok számára, akik fejlett AI-alkalmazásokat szeretnének a peremeken telepíteni.

A kép forrása: Shutterstock

Via: Blockchain News