A Together bemutatja GPU-klaszterei automatikus javításának működését

A Together október 27-i ismertetője a GPU-s tanítási és modellkiszolgáló infrastruktúrában már használt automatikus csomópontjavítást mutatja be. A platform bizonyítékot kapcsol az észlelt hibához, és a megfelelő legenyhébb beavatkozást választja; az ügyfél szabályozza, hogy az lefusson-e és mikor. A vállalat a passzív vizsgálatokat és a javítási szabályok vezérlését általánosan elérhetőnek jelöli, az ügyfél saját érzékelőinek csomópontcímkéken küldött kérései viszont még előzetes változatban működnek. A közlés meglévő képességet magyaráz, nem új indulást jelent be.

A javítási útmutató szerint alapértelmezetten jóváhagyás kell, de kiválasztott hibák mindkét megerősítési szabály mellett automatikusan kezelhetők. A jóváhagyott javítás először megakadályozza új munka kiosztását a csomópontra, majd a futó feladatok leállítása és a javítás előtt alkalmazza a várakozási szabályt. Bekapcsolt üresjárati várakozásnál az üresjárat vagy a maximális várakozás lezárja a halasztást; a feladatok megszakítását tiltó opció megszünteti az időkorlátot. Az újraindítás megőrzi a helyi adatokat, az újratelepítés és az átköltöztetés viszont törli a virtuális gép helyi adatait.

Az állapotvizsgálatok dokumentációja megkülönbözteti a háttérben végzett megfigyelést az aktív tesztektől. A passzív felügyelet a munkaterhelés mérési adatait és naplóit olvassa, mesterséges terhelés nélkül. Nem minden jelzésből lesz automatikus javítási ajánlás: a lefedettség bővül, egyes riasztások először a Together csapatához kerülnek. Az aktív diagnosztika ezzel szemben teljesen igénybe veszi a GPU-t, és zavarhatja a futó feladatokat, ezért a leírás üres csomópontot vagy karbantartási időablakot javasol. Az eredmény kivizsgálásához a teszt részletei kimeneteket, méréseket és elfogadási feltételeket mutatnak.