Az NVIDIA és az AI4Bharat 2,8 billió tokenes indiai nyelvi korpuszt jelentett be
A tervezett kiadás 22 nyelvet fed le. A beszámoló bemutatja az előállítást és a szűrést; a korpuszt és a folyamatot hamarosan ígérik.
Ebben a cikkben
Az NVIDIA és az AI4Bharat bejelentette a Nemotron-pretraining-Indic-v1 korpuszt, amely mintegy 2,8 billió tokent tartalmaz India alkotmányosan elismert 22 nyelvén. A partnerek a tartalom előállítására és szűrésére használt, GPU-val gyorsított folyamatot is nyilvánosságra kívánják hozni. A méret figyelemre méltó, de a korpusz jelentős része gépi fordítással és automatikus értékeléssel készült, ezért értékét a származás követhetősége, az ellenőrzés és a tokenszám helyes értelmezése határozza meg.
Mit tartalmaz a 2,8 billiós adat?
A projekt beszámolója 2,601 billió, eredeti írásrendszerben lévő tokent és további 224,6 milliárd, latin betűs átírásból származó tokent számol, Gemma-4 tokenizálóval mérve. Tizenkét nyelv natív és latin betűs változatban is szerepel, tíz pedig csak saját írásrendszerében, így összesen 34 nyelv–írásrendszer kombináció jött létre.
Ezek a megtartott korpusz tokenjei, nem 2,8 billió egyedi forrásmondat, és nem azt jelentik, hogy egy modellt ennyi tokennel kell betanítani. A folyamat a Nemotron-CC-v2 tizenöt részhalmazából indul, köztük webes, kérdés-válasz, matematikai és kódgyűjteményekből. A közös forrásból készült fordítások és írásváltozatok külön kimenetként növelik a számlálást. A kiadás megőrzi a forrásazonosítókat, ami segíti a származás követését és a forrásszintű ismétlődések kiszűrését, de a szerzők szerint a hasonló jelentésű szövegrészek szemantikai duplikációját nem vizsgálja.
Két eltérő biztosítékokat használó munkafolyamat
Tizenkét nyelvnél a Gemma-4-31B-it teljes dokumentumokat fordít, majd ugyanaz a modell egy többdimenziós minőségi mérésből származtatott szabályrendszerrel összeveti a fordítást a forrással. A legalább 75 pontot elérő kimenetek maradnak meg. A gyengébb dokumentumokat a rendszer javíthatja és újraértékelheti; a szerzők szerint ez a helyreállítási lépés 438,4 milliárd elfogadott tokent adott hozzá. Az elfogadott natív írású szöveg egy részéből latin betűs átírás is készül.
A másik tíz nyelvnél a csapat a Bodhan AI Indic Translate rendszerét és egy Gemma-bírálót használ, ugyanazzal a küszöbértékkel, javítási szakasz nélkül. A szantáli fordítása szakaszokban történik, a manipuri pedig előbb bengáli írásba kerül, majd Meitei Mayekre alakítják. A nyelvspecifikus utak átláthatóbbá teszik a folyamatot, de azt is jelentik, hogy a minőségbiztosítás nem teljesen azonos mind a 22 nyelven.
A 75 pont a projekt saját szabályrendszeréből származó szűrő, nem a tényszerű pontosság százaléka. A mintavételes emberi ellenőrzések kihagyásokat és visszamaradt angol szöveget is találtak. A kezdeti összevetésekben a kétlépcsős javítás csökkentette a fölösleges betoldásokat és a lefordítatlan részeket, de a szerzők továbbra is szélesebb anyanyelvi ellenőrzést kérnek, különösen a tíznyelvű munkafolyamatnál.
A képzési eredmény nem választja külön a korpusz hatását
Az adatok kipróbálásához a csapat 100 milliárd beállított tanítási tokenen folytatta egy Nemotron 3.5 Super VL ellenőrzőpont előtanítását. Tízmilliárd token szintetikus és természetesen létrejött indiai nyelvű adatok keverékéből származott, a többi a modell korábbi keverékéből. A beszámoló közvetlenül e tanítási szakasz előtti és utáni modellváltozatokat hasonlít össze: öt indiai nyelvű tudás- és érvelési teszten 4,98–9,82 százalékpontos javulást közöl. Egy ettől különálló összevetésben a kiadott Nemotron 3.5 Super VL hat feladattesztből ötön felülmúlja a Nemotron 3 Supert; az IFEval 1.5 eredménye 2,04 ponttal romlott.
A szakasz előtti és utáni összevetés a teljes tanítási recept javulását támasztja alá. A szintetikus korpusz önálló hatását nem választja külön, mert a keverék eredetileg is indiai nyelveken írt szöveget is tartalmaz. A két kiadott modell összehasonlításában további tanítási változások is szerepelnek, ezért az nem ennek az egy szakasznak a hatásmérése. A csapat azt is hangsúlyozza, hogy a fordított adat nem helyettesíti a helyi nyelveken eredetileg megírt szövegeket, és nem képes teljesen megragadni a kulturális kontextust.
A korpusz és a folyamat megjelenését „hamarosan” ígérték, ezért az elérhetőséget nem érdemes kész tényként kezelni. Megjelenés után a követhető származás és a megismételhető generálás lehet a kiadás egyik fő értéke. Ugyanilyen fontos nyitott kérdés a teljes korpusz minősége, a szélesebb anyanyelvi felülvizsgálat, a szemantikai ismétlődés és a végleges adatkártyához tartozó licenc.