Kubernetes-helyreállítással bővül a Mission Control 2.5

Az NVIDIA kiadási jegyzete olyan helyreállító szolgáltatást ír le, amely a feladat kimenetét rendszernaplókkal és működési adatokkal együtt vizsgálja, majd elkülöníti a hardverhibát a szoftveres hibától. A feladatot újra sorba állítja, és módosítja annak leírását, hogy kizárja a legutóbbi rendellenességben érintett gépeket. A támogatásnak hardveres határa is van: ez a kiadás nem támogatja a Run:ai-t és a helyreállító motort Vera Rubin NVL72 rendszeren, bár a platform kezdeti üzembe helyezéséhez korai támogatást ad.

A bejelentés megmagyarázza a tanítás közbeni jelentőséget: hardverhiba után a feladat helyreállítása és a hardver vizsgálata párhuzamosan halad. Az ütemező újraindíthatja vagy újraütemezheti a feladatot, miközben a hardverszolgáltatás elkülöníti a gyanús gépet. Ezek az NVIDIA saját rendszerleírásai.

A helyreállítási útmutató azt is elmagyarázza, mit nem szüntet meg az automatizálás. A hiba észlelése, a feladat leállítása és egy mentett ellenőrzőpont betöltése továbbra is időt vesz igénybe; a mentett állapot óta elvégzett munkát meg kell ismételni. Az útmutató szerint a szolgáltatást elsősorban PyTorch-tanításra tervezték és tesztelték. A TensorFlow, JAX és Ray keretrendszereket nem teszteltként sorolja fel: a fel nem ismert naplóminták ronthatják a hibaészlelést és az ok meghatározását, több kézi beavatkozást igényelve. Beállítási lépései Slurm-feladatokra vonatkoznak, ezért nem tekinthetők Kubernetes-regisztrációs utasításnak.