Az NVIDIA bemutatja a Nemotron Nano 2 9B-t a megnövelt Edge AI-teljesítmény érdekében

Az NVIDIA bemutatta a Nemotron Nano 2 9B-t, egy élvonalbeli modellt, amelyet arra terveztek, hogy nagy pontossággal és hatékonysággal fokozza az éles mesterséges intelligencia teljesítményét. A Nemotron családba tartozó új kiadás a Hugging Face szerint arra összpontosít, hogy kiváló következtetési képességeket biztosítson a vállalati szintű AI-alkalmazások számára.

Fejlett hibrid architektúra

A Nemotron Nano 2 9B hibrid Transformer-Mamba architektúrát alkalmaz, amely a két technológia erősségeit egyesíti az átviteli teljesítmény optimalizálása és a pontosság fenntartása érdekében. Ez a kialakítás lehetővé teszi, hogy a modell akár hatszor gyorsabban generáljon tokeneket, mint társai, így ideális az alacsony késleltetésű környezetekhez. A modell konfigurálható gondolkodási költségvetése tovább növeli a hatékonyságot, mivel lehetővé teszi a fejlesztők számára, hogy a pontosságot, az áteresztőképességet és a költségeket saját igényeiknek megfelelően állítsák be.

Főbb jellemzők és alkalmazások

A 9 milliárd paraméterrel rendelkező Nemotron Nano 2 9B különböző alkalmazásokra szabható, beleértve az ügyfélszolgálatot, a támogató chatbotokat és az analitikai kopilótákat. Hibrid architektúrája támogatja a nagy áteresztőképességet, ami elengedhetetlen a valós idejű alkalmazásokhoz a peremeken. A modell az Hugging Face-en keresztül érhető el, és az NVIDIA tervezi, hogy az NVIDIA NIM-en keresztül is elérhetővé teszi a nagy áteresztőképességű és alacsony késleltetésű telepítésekhez.

Hatékonyság a gondolkodó költségvetésen keresztül

Az innovatív Thinking Budget funkció lehetővé teszi a felhasználók számára, hogy korlátozzák az érveléshez használt tokenek számát, ami akár 60%-kal is csökkentheti a költségeket a pontosság csökkenése nélkül. Ez a funkció különösen előnyös a szigorú válaszidő-követelményekkel rendelkező alkalmazások, például az ügyfélszolgálati chatbotok és a korlátozott erőforrásokkal rendelkező peremeszközök esetében.

Fejlesztés és optimalizálás

A Nemotron Nano 2-t egy kifinomult utótanulási folyamat segítségével fejlesztették ki, amely felügyelt finomhangolást és megerősítő tanulást tartalmaz, hogy robusztus teljesítményt biztosítson a feladatok széles skáláján. A modell egy tömörítési folyamaton is átesett, hogy a hardveres korlátok közé illeszkedjen, ugyanakkor megőrizze a nagy áteresztőképességet és pontosságot.

Kezdő lépések

A Nemotron Nano 2 9B kihasználása iránt érdeklődő fejlesztők a modell Hugging Face-on történő felfedezésével kezdhetik. A modell nyílt forráskódú jellege további fejlesztésre és testreszabásra ösztönöz, hogy megfeleljen a konkrét vállalati igényeknek. Az NVIDIA elkötelezettsége a nyílt forráskódú közösség támogatása mellett nyilvánvaló abban, hogy további technikai forrásokat és adatkészleteket ad ki a fejlesztők támogatására.

A kép forrása: Shutterstock

Via: Blockchain News