Tanítási feladatok automatikus helyreállítását mutatja be az NVIDIA

Az NVIDIA leírása olyan szolgáltatást mutat be, amely összehangolja a helyreállítást, ha az elosztott tanítás elakad vagy leáll. Naplókból és ütemezői jelzésekből azonosítja a megszakításokat, majd szabályok szerint kizárja az érintett csomópontokat, és újraindítja vagy leállítja a feladatokat. Az új telepítés kezdetben csak ajánlásokat rögzít, ütemezői műveletek nélkül. Az üzemeltetők ezeket saját mérnökeik döntéseivel vetik össze a végrehajtás engedélyezése előtt. Újrainduláskor az alkalmazás saját meglévő logikájával tölti be utolsó ellenőrzőpontját, vagyis mentett tanítási állapotát.

A kódtár fontos bevezetési korlátokat rögzít: a projekt kísérleti, még nem kész termelési használatra, felületei és beállításai változhatnak. A Slurm feladatütemezőt támogatja, beleértve a Slinky segítségével Kubernetesen futó Slurmot; a natív Kubernetes-feladatok helyreállítása nincs megvalósítva. Az üzemeltetők forráskódot és telepítési csomagokat kapnak, a konténerképeket maguk készítik. Az erőforrás-foglalás újraindítása, a hasznos tanítási előrehaladás visszaállása és a tanítás befejezése külön mérföldkő. A szolgáltatás feladatokat kezel; hardvert nem javít, és ellenőrzőpontokat sem tárol.

A diagnosztikai útmutató hozzáférési előfeltételt is megnevez. A feladatok és csomópontok bizonyítékait vizsgáló NVIDIA Attribution alapértelmezetten engedélyezett, és jogosult hozzáférést igényel az eredeti forráshoz. A forrás sikertelen lekérése nem kapcsolja ki automatikusan. A nélküle történő buildhez az üzemeltetőnek kifejezetten OFF módot kell választania. A kikapcsolási konfigurációt a megfelelő, csökkentett működésű kiadás telepítési beállításai után kell alkalmaznia. Így a helyreállítás a szolgáltató diagnózisa nélkül fut, és nem ad okmegállapítást; ez nem igazolja a diagnosztikai komponenst. Az egészséges szolgáltatáspéldányok önmagukban nem diagnosztikai bizonyítékok.