Az NVIDIA kiadta a Boltot helyben futó beszélgetős ügynökökhöz

Az NVIDIA október 23-i bejelentése a Gemma 4 E4B-re épülő, az NVIDIA által továbbtanított Nemotron 3.5 Bolt E4B modellt mutatja be. A célzott alkalmazásokban a párbeszéd cselekvésekkel váltakozik: az asszisztensnek el kell döntenie, mikor válaszoljon, kérjen pontosítást vagy hívjon meg egy alkalmazásfüggvényt. Az NVIDIA figyelmeztet: a tesztcsomagok csak részben fedik le ezeket az igényeket; a javulásnak a tényleges alkalmazásban is jobb működést kell eredményeznie.

A modellkártya szöveges bemenetet és kimenetet rögzít. A beszélgetős beállítás rövidebb, kevésbé formázott válaszokra ösztönöz, és gondolkodással, illetve eszközhasználattal is kombinálható. A később elkészülő eszközeredményhez meghatározott üzenetsorrend tartozik: a hívást közvetlenül olyan eszközüzenet kövesse, amely visszaigazolja azt, és függőben lévőnek jelöli az eredményt. Ezután folytatódhat a beszélgetés. Amikor az eredmény megérkezik, strukturált információként, felhasználói üzenetben kell átadni. A sablon nem fogad el később önmagában beillesztett eszközválaszt; ezt a különbséget az alkalmazásnak meg kell őriznie.

A helyi szöveges chatet kipróbáló fejlesztőknek a Jetson útmutatója Dockerre és llama.cpp-re épülő környezetet ír le. A hardvermodul kiválasztása határozza meg a konténert; a letöltött modell a későbbi futásokhoz gyorsítótárba kerül. Az útmutató szerint a chatfelület megnyitása vagy az API használata a kiszolgáló elkészülte után következik. A körülbelül négy gigabájtos érték a modell megcélzott memóriaigényére vonatkozik: a teljes memóriahasználat a beszélgetés hosszától és a futtatókörnyezet többletigényétől is függ.

A kiadásról a MarkTechPost is beszámolt, az NVIDIA háttéranyagaihoz vezető hivatkozásokkal.