Dokumentumokat értelmező, szakosított ügynökökhöz ad alapot az NVIDIA Nemotron 3.5 Super VL

Az NVIDIA technikai bejelentése szerint a Nemotron 3.5 Super VL saját adatokhoz, eszközökhöz és vállalati szabályokhoz igazítható. Az ügynök a modell válaszai alapján más programokkal végezhet el feladatokat. A cég a Ramp nyugtafeldolgozását említi példaként, ahol akár 50 százalékkal nagyobb áteresztőképességet és tizedakkora késleltetést várnak. Ezek az adott feladatra vonatkozó várakozások.

A szabályos kimenetben is lehet hibás adat

A nyugtákra kidolgozott tanítási recept a CORD-v2 nyugtaadatbázis képeiből és címkéiből tanítja meg a tételek, adók és végösszegek kinyerését. A kiválasztott teljes finomhangolású és LoRA-változat a vizsgált húsz validációs nyugtán mindig szabályos szerkezetet adott, de csak nyolc kimenet egyezett pontosan a címkékkel. A LoRA kis kiegészítő súlyokat tanít, miközben az alapmodellt rögzíti. A példában ehhez nyolc H100 grafikus processzor kell, a teljes finomhangoláshoz harminckettő. Ez a kis minta a recept működését szemlélteti; üzemi pontosságot nem igazol.

A választható bemenet a futtatástól is függ

A modell adatlapja szöveget, képet és mintavételezett videóképkockákat nevez meg bemenetként; dokumentumot oldalképekkel és kísérő szöveggel lehet átadni. A videó legfeljebb kétperces, a kimenet szöveg. A multimodális jelző itt többféle bemenet értelmezését jelenti. A telepítési táblázat DGX Sparkhoz szöveget és képet, H200-hoz a vLLM kiszolgálószoftverrel videót is felsorol. A legfeljebb egymillió tokenes kontextuson, vagyis az egy kérésben feldolgozható információegységek keretén a bemenet és a kimenet osztozik.

A sebességadatok konkrét terheléshez tartoznak

Az NVIDIA Dynamo-kiszolgálási receptje a SWE-bench Pro kódolási teszt ügynökeinek hívássorozatait játssza vissza, közölt adatai szerint 99 százalékos gyorsítótár-találati aránnyal. Ilyenkor az újra felhasználható előzmények szinte mindig megvannak a gyorsítótárban. Az eredmények a GPU-tól, a párhuzamos kérések számától és a kiszolgálás felépítésétől függnek. Ezek a mérések ismétlődő kódolóügynök-hívásokra vonatkoznak. Nyugtafeldolgozásnál a saját dokumentumokon elért pontosságot és a tényleges forgalom melletti sebességet külön kell meghatározni.