Az llm-d 1.0 a közös AI-kiszolgálás üzemeltetését bővíti
Az október 20-i kiadás a versengő terhelésekre és az összehangolt frissítésekre összpontosít; az ügyfélprioritások szerinti működést külön kell beállítani.
A fejlesztők bejelentése az AI-modellek üzemi futtatásával foglalkozó csapatoknak szól: az inferencia a már telepített modell válaszadását jelenti. Egy közös szolgáltatásban az interaktív kérések mellett automatizált ügynökök hirtelen terhelése is megjelenik. Az 1.0-s verzió ehhez ad üzemeltetési vezérlést. Az alapértelmezett sorrend azonban továbbra is az érkezési sorrendet követi; a frissítés telepítése önmagában nem választ eltérő kiszolgálási szabályokat a különböző ügyfeleknek.
Bekapcsolt forgalomszabályozásnál a forgalomszabályozás dokumentációja ügyfél vagy feladat és prioritás szerint elkülönített várakozási sorokat ír le. A továbbítás először prioritási sávot, azon belül egy forgalmat, majd egy kérést választ. Ha a háttérben dolgozó kiszolgálók telítettek, a kérések központilag várnak, nem az egyes modellkiszolgálóknál halmozódnak fel. Ez azt szabályozza, ki és hol vár; többlet-számítási kapacitást nem teremt. A várakozó kérés lejárhat, és a sorok csak memóriában élnek, így a folyamat meghibásodásakor elvesznek. A központi koordináció tehát nem ígéri minden befogadott kérés befejezését.
A DisaggregatedSet leírása másik üzemeltetési feladatot mutat be: külön szerepkör készíti elő a kérés kezdeti gyorsítótárát, és külön szerepkör állítja elő az azt követő kimeneti tokeneket. Ezek egymástól függetlenül méretezhetők, de frissítésüket össze kell hangolni. A rendelkezésre állás továbbra is beállításfüggő. Egyetlen csoport kiesésének engedélyezése teljesen eltüntethet egy csak egy csoportból álló szerepkört, megszakítva a szolgáltatást. A leírás szerint egy változat csak akkor fogadhat forgalmat, ha minden szükséges szerepkörében van kész csoport; az összehangolt frissítés nem feltétlen üzemidő-garancia.
A MarkTechPost összefoglalója a mérési fejezet számait a Google és az llm-d felhasználóinak saját közléseiként jelöli. Ez a megjelölés elkülöníti az idézett szervezetek eredményeit a lap által végzett független teszttől.
