Trainium-modellkeresőt mutatott be a Hugging Face
A kereső modelltesztek eredményeit kapcsolja össze futtatható szkriptekkel.
A Hugging Face bejelentése olyan keresőt ismertet, amellyel fejlesztők ellenőrizhetik, futnak-e változtatás nélkül a modellek Trainiumon. Név alapján kereshetnek, és kiválaszthatják a fordító, valamint a Transformers verzióját. A kiválasztott modellhez megkapják a tesztelt szoftverkörnyezetet, a kiegészítő csomagokat és a futtató szkriptet. Ezzel a környezettel rendelkező Trainium2 gépen előbb telepíteni kell a felsorolt csomagokat, majd elindítani a szkriptet; több magra felosztott modellnél az maga indítja az elosztott folyamatokat. A kijelzett futási idő a fordítást is tartalmazza.
A karbantartott adatlap szűken határozza meg a PASS jelentését: a betöltés és a szöveggenerálás befejeződött, a kimenet ellenőrzése pedig sikerült, vagy nem tudott lefutni. A tesztek 32 tokent generálnak; a siker nem mond semmit az áteresztőképességről vagy a hosszabb kimenetekről. Ha egy verziópárhoz hiányzik az eredmény, ott a modellt nem tesztelték, nem pedig megbukott. Az EXCLUDED szintén nem tesztelt állapot. A hibajelölések különválasztják a betöltést, generálást és kimenetellenőrzést. Egy magon ugyanazt a modellváltozatot CPU-n futtatva hasonlítják össze, megengedve a közel azonos esélyű választásokat; több mag vagy befejezetlen CPU-futás esetén egy modell ítéli meg az angol szöveg gördülékenységét.
A háttérrendszer bemutatója megmagyarázza a működési alapot: a TorchNeuron olyan PyTorch-bővítmény, amely a Trainiumot natív eszközként teszi elérhetővé. A Hugging Face saját könyvtárainak közvetlen használatát ajánlja az Optimum Neuron helyett. A Transformers szöveggenerálási példája statikus gyorsítótárat javasol, hogy elkerülhetők legyenek a gyakori újrafordítások.
