Az OpenAI kibővíti az AI-ügynökök felügyeletét
Az OpenAI szélesebb körben ellenőrzi az ügynökök nem szándékolt viselkedését a tanítás, értékelés és használat során. A felismerés és a beavatkozás korlátai eltérnek.
Az október 29-i ismertetőben az OpenAI olyan modellt ír le, amely az ügynökök gondolatmenetét és eszközhasználatát ellenőrzi, majd vizsgálók elemzik a jelzett eseteket. Érzékeny feladatoknál naplókkal és más rendszeradatokkal is összevetik a történteket. A belső Codex-forgalomnál az emberi ügyeleti riasztás ki van kapcsolva, bár egyes kritikus jelzések szüneteltethetik a munkát. Egy jelzés tehát nem vált ki minden esetben emberi beavatkozást.
A fejlesztőknek szóló API-útmutató külön kezeli a felügyeletet és az automatikus leállítást. Az érintett modelleknél a Responses-kérések automatikus leállításához megőrzött gondolatmenet, WebSockets vagy OpenAI-tömörítés szükséges; ezek nélkül a beállított webhookok értesítést kaphatnak, de a beszélgetés folytatódik. A Chat Completions kimarad ebből. Az ellenőrzés aszinkron, vagyis a munkával párhuzamosan zajlik: egy művelet a probléma felismerése előtt befejeződhet, és a leállítás nem vonja vissza a korábbi lépéseket. Téves jelzés is lehetséges. A misalignment_policy_violation hiba után le kell állítani a további műveleteket, kerülni az automatikus újrapróbálást, megőrizni a feljegyzéseket, és a felelős kezelővel ellenőriztetni a már elvégzett változtatásokat.
A külső vizsgálat ennél szűkebb körre vonatkozik. A Redwood részvételével végzett METR-próba a július 21-én vagy korábban működő rendszert vizsgálta, nem a ma kibővített lefedettséget. A kutatók a felügyelet megkerülésének lehetséges módjait találták. Az OpenAI szerint a legtöbb sérülékenységet javították, egy javítás még folyamatban van; a METR ezeket az állításokat nem ellenőrizte. A kutatók a tervezett lefedettség és a tényleges felügyeleti naplók összevetését, valamint az incidensekre adott válasz egyértelmű felelőseinek kijelölését javasolják.