Az AWS kilenclépcsős módszere üzembe helyezés előtt és után is teszteli az AI-ügynököket
Az AWS azt mutatja be, hogyan tesztelik az AI-ügynököt kiadás előtt, figyelik valódi használat közben, és keresik vissza a hibás lépést.
Ebben a cikkben
Egy éles AI-ügynök akkor is válhat kevésbé hasznossá, ha közben elérhető marad: elég hozzá egy prompt, eszköz vagy adatforrás módosítása. Az AWS kilenclépcsős értékelési munkarendet tett közzé az ilyen csendes romlások felismerésére a kiadás előtt és után. A módszer egy belső értékesítési rendszerből származik, ezért a közölt javulások vállalati eredmények, nem független mérés adatai.
Egy hibás kiadás megmutatta a felügyelet hiányát
Az AWS esettanulmánya egy többügynökös rendszert ismertet, amely teljesítményelemző, ügyfél-információs és szövegből SQL-lekérdezést készítő szakágensek között osztja szét a munkát. Egy előkészítő környezetben az összetartozó adat-, eszköz- és promptmódosítások eltérő időben érkeztek. A sikeres tesztek aránya 78 százalékról 38 százalékra esett, vagyis az alkatrészenkénti ellenőrzés nem találta meg a teljes rendszer hibáját.
Az AWS ezért nem egyetlen pontszámot, hanem teljes életciklust javasol. A csapat előbb meghatározza az elfogadható működést és összeveti a verziókat, majd kódösszefésüléskor kis regressziós készletet, kiadás előtt pedig teljes „arany tesztkészletet” futtat. Ez reprezentatív kérdések, várt eredmények és ismert hibák verziózott gyűjteménye. Üzembe helyezés után kanáriteszt, támadó jellegű próba, eltérésfigyelés, élő irányítópult és felhasználói visszajelzés folytatja ugyanazt a kört.
Külön mérik az eszközt, a szakágenst és az egész rendszert
A keretrendszer három szinten értékel: egyedi eszközhívásokat, szakágenseket és az összekapcsolt munkafolyamatot. A biztonság, a válaszminőség, a sebesség, a költség és az üzemeltetési kontroll is szerepel a szempontok között. Ahol ismert a helyes eredmény, determinisztikus ellenőrzés használható; az olyan tulajdonságokat, mint a hasznosság, egy másik modell pontozhatja. Az AgentCore Evaluations dokumentációja szerint beépített és egyedi értékelők egységesített végrehajtási nyomokon dolgozhatnak.
Az éles rendszerben az AWS állítása szerint a forgalom 10 százalékát mintázták 30 perces ablakokban, és csak három egymást követő küszöbsértés után riasztottak. Egy esetben az ügyfélazonosítás pontossági mutatója 98 százalékról körülbelül 80 százalékra esett, mert az élő kérdések rövidítéseket, tőzsdei jelöléseket és elírásokat tartalmaztak, amelyek hiányoztak az offline tesztekből.
Mi vihető át más rendszerekre?
Az AWS dokumentációja szerint az AgentCore Observability OpenTelemetry-kompatibilis nyomokat és mérőszámokat küld a CloudWatchba. A vállalat azt írja, hogy ezzel a hibafelismerés ideje napokról vagy hetekről négy óránál rövidebbre csökkent. Egy promptmódosításhoz jobb forrásalapúságot és kevesebb hallucinációs eseményt is társít.
Ezek egyetlen AWS-környezet eredményei; a cikk nem bizonyít azonos javulást vagy költséget más rendszerekben. Az átvihető tanulság a felépítés: ismert esetek tesztelése kiadás előtt, valódi működés mintavétele utána, valamint részletes nyomok megőrzése, hogy egy romló pontszám visszaköthető legyen a megváltozott eszközhöz, prompthoz vagy útválasztási lépéshez.
