Az IBM két ügynökkerettel hasonlította össze a CUGA-t

Az IBM CUGA-csapata 90 AppWorld-feladaton hasonlította össze a CUGA, a Hermes és a Deep Agents keretét, ugyanazzal a GLM-5.3-flash modellel. Az ügynökkeret a tervezést, eszközhasználatot és ellenőrzést szervező szoftver. A csapat jobb feladatteljesítést közöl a CUGA-val, de a konfigurációk eltértek, a minta nem feltétlenül általánosítható, és a szabályok kikényszerítését nem vizsgálták. Az eredmény erre a beállításra vonatkozik, nem az üzleti automatizálás általános győztesét határozza meg.

A szabályok dokumentációja elkülöníti az emberi jóváhagyást a kóddal végzett ellenőrzéstől. A Tool Approval emberi megerősítést követel meg a megadott érzékeny eszközök végrehajtása előtt. A ToolGuard ellenőrző kódot kapcsol egy Tool Guide-hoz; nem maga az emberi jóváhagyás. A Playbook eljárásokat ad, a Tool Guide pedig kontextust tartalmazó utasításokat illeszt be. A szabályok pontos kulcsszóegyezés vagy jelentésalapú egyezés alapján aktiválódhatnak. A dokumentált sorrend először a szándékot, majd az útmutatást, az eszközellenőrzéseket és végül a választ kezeli.

A projekt útmutatója szerint a kódos ellenőrzéshez alkalmazható, bekapcsolt őrszabály szükséges. Blokkoláskor szabálysértési eredmény érkezik, az érintett eszköz végrehajtása nélkül. Önmagukban az utasítások nem hozzák létre ezt az ellenőrzést.

A telepítés Python 3.12-vel és uv-val kezdődik, majd a szolgáltató beállításai és hitelesítői következnek. A kezelőfelületen publikálás előtt tesztelhető a piszkozat. A hálózatról leválasztott működéshez előkészített függőségek, konténerképek és támogató modellek, továbbá helyi modellfuttatás, beágyazások, eszközök és megfigyelés szükséges. A következtető modellt és kiszolgálóját külön kell telepíteni; a szolgáltatókat, csatlakozókat és opcionális szolgáltatásokat a kívánt határon belül kell tartani.