TorchNeuron-útmutató: egy művelet útja a Pythontól a Trainiumig
Új útmutató kapcsolja össze az időmérési táblázatokat és a vizuális nyomkövetést az inferencia teljesítményének vizsgálatához.
Az október 21-i Amazon-útmutató AWS Trainiumon vizsgálja az inferenciát, vagyis a betanított modell futtatását. Az RMSNorm normalizálási művelet külön számtani lépésekből álló megvalósítását beépített függvénnyel és lefordított kóddal veti össze. Azonos bemenetek és profilozási ütemezések teszik összehasonlíthatóvá a példákat. Az időmérési táblázat megmutatja a költséges műveleteket; a vizuális nyomkövetés a művelet keretrendszerbeli továbbításától a futtatókörnyezet ütemezésén át a hardveres végrehajtásig követi őket.
A hozzáférésnek feltétele van: a rögzítési dokumentáció szerint részt kell venni a Native PyTorch harmadik privát bétájában. Működő modell és telepített Neuron SDK is szükséges. A CPU-tól az eszközig tartó teljes nézethez a profilozó CPU- és PrivateUse1-tevékenységet egyaránt rögzít. A dokumentáció példája exportálás előtt szinkronizálja a Neuront, mert a végrehajtás aszinkron: a modellhívás már visszatérhet, miközben az eszköz még dolgozik. Szinkronizálás nélkül az exportált nyomkövetés hiányos lehet.
A helyi böngészős megtekintéshez az Explorer útmutatója a kezelőfelület és az API portját is SSH-n továbbítja, az Explorert pedig az EC2-példányon indítja. A böngészős feltöltés előtt másold a távoli kimeneti fájlokat a helyi számítógépedre. Az Upload Profile alatt adj profilnevet. Rendszerprofilhoz vagy kombinált profilhoz a Directory Upload segítségével válaszd ki a helyi mappát, benne az ntrace.pb és trace_info.pb fájllal. A My Uploads alatt frissítsd a feldolgozási állapotot; annak befejeződése után a profil nevére kattintva nyílik meg az interaktív idővonal.