A PyTorch FlyDSL-végrehajtási utakat kínál AMD GPU-khoz

Az október 21-i PyTorch-bejegyzés választható végrehajtó hátteret mutat be AMD MI350 grafikus processzorokhoz. A megfelelő fordított mátrixszorzásoknál a PyTorch megméri a jelölt megvalósításokat, majd újrahasználja a nyertest; továbbra is választhatja az ATen vagy a Triton megoldását. A megfelelő RMSNorm-normalizálási és TopK-kiválasztási hívások a telepített, engedélyezett futtatókörnyezetet automatikusan használják a műveleteket közvetlenül végrehajtó eager módban. A nem támogatott bemeneteknél megmaradnak a meglévő megvalósítások. A példa friss ROCm PyTorch nightly fejlesztői változatot és FlyDSL 0.3.x-et feltételez.

A projekt útmutatója külön kezeli a csomag használatát és a GPU-kernelek, vagyis a grafikus processzoron végrehajtott kis programok fejlesztését. A FlyDSL segítségével a készítők Pythonban írhatják le az adatok elrendezését és mozgatását. Legalább Python 3.10 szükséges, a GPU-s végrehajtáshoz pedig ROCm. A forrásfában lévő kernelpéldák nincsenek benne a telepített wheel csomagban. A tesztekhez és példákhoz ezenfelül pytest, pandas és megfelelő ROCm-változatú PyTorch kell. A dokumentált importpróba a telepítést igazolja; a helyességi tesztek és teljesítménymérések külön lépések.

A hivatkozott AOTriton-kiadás a figyelmi műveletek útját tárgyalja: a flyc végrehajtó háttér részeként FlyDSL-kerneleket szállít gfx950 és gfx1201 hardverhez. Eszközlánca a Triton- és FlyDSL-kernelekből előre lefordított GPU-programokat tartalmazó C++ könyvtárat készít. A 0.14.2 Beta egy korábbi flyc kernel skálázással összefüggő pontosságvesztését, valamint a Triton visszafelé számításának nem pozitív skálázási tényezőknél jelentkező külön hibáját is javítja. A kiadás a Tritont és a hangolási adatbázist is frissíti, tehát nem csupán egyetlen végrehajtó háttér változását jelenti.