StateBench: változó adatok követése

Az Ai2 bejelentése a StateBench teszttel azt vizsgálja, követik-e a nyelvi modellek az információ változásait egy hosszú dokumentumban, például programkódban. Más feladat visszakeresni a kezdeti értéket, mint megtalálni a legutóbbi módosítását. A nehezebb esetekben az egymásra épülő változásokat vagy a változók közötti függőségeket is követni kell. Egy kihagyott módosítás megváltoztathatja a végső választ. E különbségek segítenek a kutatóknak feltárni, milyen állapotkövetéssel boldogul egy modell. A keretrendszer jelenleg rögzített változókészletet feltételez; nem terjed ki az olyan beszélgetésekre, amelyekben idővel új emberek vagy tárgyak jelennek meg.

A megvalósítási útmutató szerint a másolás másik változó pillanatnyi értékét veszi át, tartós kapcsolat nélkül. Generálás előtt ellenőrizd a konfigurációt. Alapértelmezésben minden adatrész együtt készül. Külön futásoknál használj közös kimeneti mappát, a YAML-ban sorold a tesztrészt a tanítórész elé, először a tesztrészt készítsd el, tanítórészhez: disjoint_from: [test]. A tanítás kizárja a mentett tesztrész szemantikai azonosítóit. A mintaparancs adatkészlet írása nélkül megmutatja a műveletsort, bemenetet és elvárt választ. Soronként egyedi, generálások között stabil example_id azonosító készül; a tartalomból képzett instance_id jelzi a szemantikai ismétlődést. A leíró állomány az egyedi szemantikai példányokat számolja, és az adatrészek szemantikai átfedését közli.