Vissza a felfedezéshez
HírekFejlesztés AI-val

SOCI-képbetöltést kapnak a SageMaker AI feladatai

A tanítási és feldolgozási feladatok induláskor csak a konténerkép kezdetben szükséges fájljait tölthetik le.

Borostyánszínű tömbök haladnak egy nagy, rekeszes kék kockából ívelt sínen egy kis mechanikus szerkezetbe.
CurioFuse · AI-illusztráció

Az AWS október 27-én jelentette be a funkciót. A SOCI indexei megmutatják a fájlok helyét a feladat környezetét csomagoló konténerképben. Először a szükséges fájlok töltődnek be, a többi a háttérben érkezik. Az előny az induláskor olvasott fájloktól függ: ha a feladat rögtön a többségüket használja, kevés lehet a nyereség. Tanításhoz és feldolgozáshoz privát Amazon ECR-tároló szükséges. Használható index nélkül a SageMaker a szokásos letöltést alkalmazza.

A Deep Learning Containers dokumentációja a -soci címkevégződéssel jelöli a kész, indexelt képeket. A támogatott családok között a PyTorch Training, a TensorFlow Training, a vLLM és az SGLang szerepel. A DLC az index második formátumát használja, amely az eredeti képet és indexét együtt csomagolja. A dokumentáció megkülönbözteti az egy konkrét képhez kötött címkéket a kiadásokkal frissülő címkéktől. A támogatott verziókat a hivatkozott galéria sorolja fel, így a keretrendszer neve önmagában nem azonosítja a kiválasztandó képet.

Az indexkészítés automatizálására az AWS SOCI Index Builder eseményvezérelt folyamatot dokumentál. A kép ECR-be feltöltése egy EventBridge-szabályt indít el. Egy szűrő Lambda-függvény ellenőrzi a tároló és a címke mintáját; csak egyezés esetén hívja meg az indexkészítőt. Ez a függvény letölti a képet, elkészíti a beállított verziójú indexet, majd visszatölti az indexállományokat az ECR-be. A minták helyettesítő karaktert is elfogadnak: a dev:* a dev tárolóba feltöltött képeket választja ki. Az eszköz mindkét indexformátumot támogatja, és a V2-t ajánlja.

Források(3)

Források és alapelvekJavítás jelzése