Az NVIDIA bemutatja a Dynamo-alkalmazások infrastruktúrájának ellenőrzését

Az NVIDIA október 30-i útmutatója elválasztja az infrastruktúra előkészítését az AI-alkalmazás telepítésétől. Az üzemeltető rögzíti a meglévő fürt állapotát, hozzá illő konfigurációs receptet készít, abból telepítési csomagot állít elő, majd telepíti a futtatókörnyezetet. A telepítési és megfelelőségi ellenőrzéseknek sikerülniük kell az alkalmazás telepítése előtt. A teljesítmény ellenőrzése külön lépés: átmeneti modellkiszolgáló feladatot indít, és használja a vizsgált grafikus processzorokat.

Az AICR projektje tisztázza, mit kell az üzemeltetőnek biztosítania: egy már meglévő, grafikus processzorokkal felszerelt Kubernetes-fürtöt és a saját telepítési eszközeit. Az AICR konfigurációt készít, nem hozza létre ezt a fürtöt, és nem nyújt menedzselt tárhelyszolgáltatást. Csomagjában komponensenkénti beállítások, ellenőrzőösszegek és útmutatók találhatók. Ez a különbség fontos az infrastruktúráért viselt felelősség megtervezésekor. A projekt a rögzített fürtállapotok összevetését is kínálja, amellyel fürtök közötti vagy időbeli konfigurációváltozásokat lehet azonosítani.

A Dynamo dokumentációja a kiszolgáló keretrendszert a vLLM-hez hasonló motorok fölé helyezi: összehangolja a munkájukat processzorok vagy gépek között. A beérkező kérés feldolgozását és a válasz előállítását egymástól függetlenül méretezhető munkafolyamat-csoportokra választhatja szét. Az útválasztási lehetőségek a felelősséget is eltérően osztják el: a Dynamo fogadó komponense választhat végrehajtót, vagy egy átjáró kérhet választást egy végpontkiválasztótól, majd továbbíthatja a kérést. Egyetlen modell és egyetlen grafikus processzor esetén a projekt szerint valószínűleg elegendő maga a kiszolgálómotor.