Az NVIDIA a központi gépektől a helyi ügynökökig bővíti a Nemotron 3.5-öt
Az NVIDIA két Nemotron 3.5 modellt kiadott, egy harmadikat pedig október 23-ra ígér, a szerveres, asztali és peremhálózati használatot lefedve. A cég súlyokat, adatkészleteket és tanítási recepteket közöl; elemzők szerint ezzel a nyílt ökoszisztémát és saját hardverkeresletét egyszerre erősíti.
Ebben a cikkben
Három modell eltérő telepítési szintekre
Az NVIDIA a Nemotron 3.5 családot vállalati szerverekre, helyi munkaállomásokra és kisebb, az adat keletkezési helyén működő eszközökre szánt modellekkel bővítette. A Nemotron 3.5 Super VL egy 120 milliárd paraméteres látás-nyelvi modell multimodális ügynökökhöz és hosszabb munkafolyamatokhoz. A Nemotron 3.5 Bolt 74B-A9B a modell számait kétbites formára tömörítve 24 GB memóriába illeszkedik, a Bolt E4B pedig 4 GB-os mérettel társalgási és fizikai ügynököket céloz.
Az NVIDIA szerint a Super VL és a Bolt 74B-A9B már elérhető, a Bolt E4B pedig október 23-án érkezik. A vállalat közzéteszi a modellek súlyait, adatkészleteit és tanítási receptjeit, a terjesztésben pedig többek között a Hugging Face vesz részt. A cég nyíltan alakítható termékcsaládként mutatja be a kínálatot, amely adatközponti infrastruktúrától RTX és DGX Spark rendszereken át Jetson-eszközökig futtatható.
Helyi ügynökök és gyártói teljesítményadatok
Az NVIDIA a Bolt 74B-A9B modellt olyan mindennapi helyi ügynökfeladatokra szánja, mint a kutatás, az írás és a kódhibák feltárása, felhőbe küldött munkaterhelés nélkül. A vállalat szerint a Super VL egy modellen belül dolgozhat fel weboldalakról, diagramokról, táblázatokból és PDF-ekből származó szöveges és vizuális információt. A gyártó azt állítja, hogy a modell legnagyobb következtetési rendszerének körülbelül ötödannyi paraméterével működik, és kategóriájában akár ötszörös átviteli sebességet érhet el.
Ezek az adatok az NVIDIA saját bemutatóanyagából és kiválasztott benchmarkjaiból származnak, nem független mérések. A cég közlése szerint a Super VL tanítása mintegy 26 billió tokenre épült, ezt körülbelül 3,8 millió mintás utótanítás és több környezetben végzett megerősítéses tanulás követte.
A nyitottság az NVIDIA platformját is erősíti
Az AI Business Alexander Harrowell Omdia-elemzőt idézi, aki két motivációt lát. A nyílt modellek több testreszabási lehetőséget adnak a fejlesztőknek, és segítik a nyílt ökoszisztéma versenyét az olcsóbb kínai nyílt súlyú modellekkel. Ugyanakkor az optimalizált modellek vonzóbbá tehetik az NVIDIA GPU-it, vezénylőszoftvereit és telepítési eszközeit is.
Ez a stratégiai kapcsolat akkor különösen fontos, amikor a Google, az Amazon és más cégek saját gyorsítóikat szorosan integrálják modelljeikkel és szoftvereikkel. Az NVIDIA nemrég nyílt forrásúvá tette a Run.ai-t, a Nemotront pedig teljes hardverkínálatára kiterjeszti. Harrowell egy gyakorlati akadályt is kiemel: a vállalatoknak újra meg kell barátkozniuk a helyi PC-ken vagy megosztott eszközökön futó csomagolt AI-szoftverrel, a kizárólag felhős szolgáltatások helyett.
A bejelentés így egyszerre termékrajt és ökoszisztéma-stratégia. Nagyobb ellenőrzést adhat a telepítés és testreszabás felett, de a nyitottság nem szünteti meg az üzemeltetési feladatokat. Továbbra is megfelelő hardver, biztonsági kontroll, modellértékelés és indokolt helyi felhasználási eset szükséges.
