Az AWS összehangolja a SageMaker-frissítést és az automatikus skálázást

Az AWS mintája egy telepítési buktatót kezel: a végpont módosítása előtt kézzel leválasztott automatikus skálázás hibaüzenet nélkül kikapcsolva maradhat, ha maguk a skálázási beállítások változatlanok maradnak. Egyedi erőforrások hangolják össze a lépéseket. A végpont változtatása előtt eltávolítják a skálázási célt, csak a végpont működő, InService állapota után regisztrálják újra, a szabályzatot pedig akkor kapcsolják hozzá, amikor a cél már lekérdezhető. A megvalósítás CDK-val dolgozó csapatoknak szól.

A frissítési dokumentáció pontosítja, mikor kötelező a leválasztás: az automatikusan skálázott éles változat géptípusának cseréjekor vagy a változat eltávolításakor. Önmagában a modell lecserélése megengedett, de az üzemeltetőnek ellenőriznie kell, hogy a teljesítmény és a skálázás működése nem változik jelentősen. A frissítés idején az automatikus skálázás blokkolt. Az AWS erre az időszakra további géppéldányok hozzáadását választható óvintézkedésként írja le, nem minden frissítés kötelező előfeltételeként.

Az automatikus skálázás a terhelés változásához igazítja a modellt kiszolgáló géppéldányok számát. Növekvő igénynél további példányokat indít el, csökkenő terhelésnél pedig eltávolítja azokat a példányokat, amelyekre már nincs szükség a modell kiszolgálásához.

A SageMakerVariantInvocationsPerInstance metrikát használó szabályzatokhoz a terheléspróba útmutatója egyetlen géppéldányból indul ki. Fokozatosan növeli a párhuzamos kérések számát, miközben figyeli a kiszolgált kérések ütemét és a válaszidőt. A kapacitás a géptípustól, a jellemző bemenetektől és a külső függőségektől is függ. Az útmutató növekvő és csökkenő forgalom mellett egyaránt előírja a skálázás tesztelését.