A PyTorch 2.15 átállítja az NVIDIA elosztott tanítás alapértelmezését

A PyTorch kiadási közlése az NVIDIA GPU-kon, elosztottan modelleket tanító csapatokat érintő változást ismertet: alapértelmezésként lecserélte a részt vevő grafikus processzorok közötti adatcserét végző szoftvert. Az újraírt NCCL-háttérrendszer az előző kiadásban választható előzetes volt; most a szokásos nccl folyamatcsoportokat szolgálja ki. A bejelentés ezt a felületet továbbra is instabilként jelöli.

A megvalósítás változása megtart egy visszaállási lehetőséget: a TORCH_DIST_USE_NCCL2=0 beállítás vagy az nccl-legacy háttérrendszer választása a korábbi megvalósítást kapcsolja be. Ha a változó nincs beállítva, vagy az értéke 1, az új megvalósítás lesz kiválasztva. A változás emellett kompatibilitási hiányosságokat kezel a tartalék GPU-kiválasztás, a nem támogatott bitenkénti redukcióknál dobott kivétel és az időtúllépési üzenetek területén. Ezek konkrét kompatibilitási módosítások, nem ígéretek arra, hogy minden korábbi munkaterhelés teljesen azonosan viselkedik.

Egy diagnosztikai változás az elakadt munkával foglalkozik. Az NCCL2 korábban kínált nyomkövetési mentési végpontot, de a felügyeleti mechanizmusának állapotát nem közölte a hibakereső szerverrel. A hibakereső felület most minden folyamattól kérhet nyomkövetési adatot, ha bármelyik folyamat hibás állapotba kerül. A végzetes leállítás előtt a szerver beállítható türelmi időt kap, és a blokkoló várakozás közben fellépő hibák ugyanezt a jelentési útvonalat használják.

A fejlesztők példája szándékosan megakaszt egy kollektív műveletet, kikapcsolja a helyi tartalék mentést, és ellenőrzi, hogy a hibakereső szerver lekérdezése minden folyamathoz létrehoz-e nyomkövetési adatot. Ez a diagnosztikai útvonalat szemlélteti; nem független teljesítménymérés.