Biológiai transzformációs modellek továbbfejlesztése az NVIDIA BioNeMo és a PyTorch segítségével
A számítógépes biológia számára jelentős előrelépésként az NVIDIA bemutatta BioNeMo Recipes nevű eszközkészletét, amely a nagyméretű biológiai transzformációs modellek képzésének egyszerűsítésére szolgál. Az NVIDIA nemrégiben közzétett blogbejegyzése szerint ezek a receptek az NVIDIA Transformer Engine (TE) gyorsaságot és memóriahatékonyságot javító, ismert keretrendszereket, például a PyTorch-ot használva integrálják az NVIDIA Transformer Engine-t (TE).
Áramvonalas modellképzés
A több milliárd vagy trillió paramétert tartalmazó modellek képzése egyedi kihívásokat jelent, amelyek gyakran kifinomult párhuzamos számítási stratégiákat és optimalizált gyorsított könyvtárakat igényelnek. Az NVIDIA BioNeMo Receptek célja, hogy csökkentsék a nagyméretű modellképzés belépési korlátját azáltal, hogy lépésről lépésre olyan útmutatókat nyújtanak, amelyek kihasználják a meglévő keretrendszereket, például a PyTorch-ot és az Hugging Face-t, miközben olyan fejlett technikákat is tartalmaznak, mint a Fully Sharded Data Parallel (FSDP) és a Context Parallelism.
A Transformer Engine integrálása
A TE integrálása a transzformátor típusú mesterséges intelligencia modellekbe, például a Hugging Face ESM-2 fehérje nyelvi modelljébe, jelentős teljesítménynövekedést szabadít fel. Ez a javulás az adathalmazok vagy a képzési pipelinek teljes átalakítása nélkül érhető el. A TE optimalizálja a transzformációs számításokat az NVIDIA GPU-kon, olyan modulokat kínálva, mint a TransformerLayer, amelyek a hatékonyság növelése érdekében minden szükséges műveletet kapszuláznak.
Hatékony szekvenciacsomagolás
A hagyományos bemeneti adatformátumok nem lehetnek hatékonyak a kitöltő tokenek miatt, amelyek nem járulnak hozzá a modell figyelmi mechanizmusához. A modern figyelemmagok felhasználásával a TE megkönnyíti a szekvenciacsomagolást, lehetővé téve a bemeneti szekvenciák feltöltő tokenek nélküli bevitelét, ezáltal csökkentve a memóriahasználatot és növelve a tokenek átbocsátóképességét. Ez az optimalizálás zökkenőmentesen beépül a BioNeMo Receptekbe, így elérhetővé válik a felhasználók számára.
Teljesítmény és interoperabilitás
Az NVIDIA megközelítése nemcsak a teljesítményt növeli, hanem biztosítja a kompatibilitást a népszerű gépi tanulási ökoszisztémákkal, köztük az Hugging Face-zal is. A felhasználók a TE rétegeket közvetlenül a Hugging Face Transformers modellekbe integrálhatják, így megőrizve mind a TE teljesítménynövelésének, mind a Hugging Face modell sokoldalúságának előnyeit. Ez az átjárhatóság lehetővé teszi a TE zökkenőmentes alkalmazását a különböző modellarchitektúrákban.
Közösség és jövőbeli fejlesztések
Az NVIDIA arra bátorítja a közösséget, hogy a GitHubon keresztül járuljon hozzá a BioNeMo Recipes fejlesztéséhez. A kezdeményezés célja, hogy a fejlett modellgyorsítást és skálázást minden fejlesztő számára elérhetővé tegye, elősegítve az innovációt a biológia területén és azon túl is. További részletes információkért látogasson el az NVIDIA blogjára.
A kép forrása: Shutterstock
Via: Blockchain News