Az NVIDIA bemutatja, hogyan lesz ügynökhibából teszt

Hibából ellenőrizhető teszt

Az NVIDIA példájában egy kitalált cég asszisztense elküld egy üzenetet, pedig csak a megírását kérték. A fejlesztők megvizsgálják a rögzített lépéseket, teszteket készítenek, módosítják az utasításokat, majd összevetik az eredményeket. A változtatás célpontja az ügynök működési kerete: a viselkedését alakító promptok, eszközök és az ezeket körülvevő kód.

Vizsgáld meg a rögzített viselkedést

A Compass tárolt futási feljegyzésekben keres visszatérő problémákat. Eszközellenőrzése hibás argumentumokat, sikertelen hívásokat, hiányzó eredményeket és eredménytelen újrapróbálkozásokat vizsgál; egy másik jel a viselkedést az ügynök leírt szabályaival veti össze. A fejlesztőnek a megállapítás alapján végzett beavatkozás előtt meg kell vizsgálnia az alátámasztó feljegyzéseket. Ez korai kutatási előzetes, kifejezetten nem üzemi használatra szánják. Felületei, beállításai és kimeneti formátumai inkompatibilisen változhatnak, ezért egy találat vizsgálati kiindulópont, nem már bizonyított hibadiagnózis.

Ellenőrizd, mit fednek le a tesztek

Az Eval Author a kódoló asszisztensnek segít teszteket készíteni az ügynök kódtárából és elvárt viselkedéséből. A Harbor és a NeMo Gym formátumát támogatja. Az első tesztkészlet futási feljegyzések nélkül is elkezdhető, de a teljes lefedettségi vizsgálathoz befejezett tesztfutások feljegyzései kellenek. Ha egy viselkedésre nincs rögzített bizonyíték, abból önmagában még nem következik, hogy hiányzik a teszt. Ellenőrizni kell a generált eseteket, pontozási ellenőrzéseket és lefedettségi megállapításokat: ez a kutatási előzetes túl könnyű feladatokat is készíthet.