Az AKV az AI-ügynökökre bízza számítási gyorsítótáruk kezelését

Az AKV projekt az AI-ügynökök egy növekvő terhével foglalkozik: a hosszabb beszélgetések több tárhelyet és feldolgozást igényelnek a korábban elvégzett számítások megőrzéséhez. Ezt a tárolt állapotot KV-gyorsítótárnak nevezik. Az AKV lehetővé teszi, hogy az ügynök kiválasztott állapotokat elhagyjon, miközben az összeillő, megtartott állapotokat újra felhasználja, a hozzájuk tartozó szöveg törlése nélkül. Egy állapot elhagyása az egyik kérésből nem szabadítja fel azonnal a közös tárhelyet: egy másik aktív számításnak vagy helyreállításnak még szüksége lehet rá.

A kódtár példája a teljes beszélgetést megtartja a kérésben. Egy szabályrendszer utasításokat ad hozzá a gyorsítótár bejegyzéseinek elhagyására és a megmaradó pozíciók tömörítésére. Az újabb eszközeredmény feldolgozása után a szerver elhagyja a korábbi eredmény gyorsítótárát, tömöríti a pozíciókat, majd előállítja a következő választ. Az üzenetek számozása változatlan marad. Egy külön bemutatóban a modell eszközzel kérhet elhagyást; a szabályrendszer a sikeres hívásokat a következő modellkérés előtt alakítja át.

A rendszerdokumentáció alapján ez telepítési feladat. A telepítés Rustot, Cargót és Python 3.12-es környezetet használ; az induláskori fordításhoz működő C++20-fordító és írható fordítási gyorsítótár is kell. A támogatás meghatározott Qwen, GPT-OSS és MiniMax-M2 szöveges modellarchitektúrákra terjed ki. A gyorsítótár-műveleteket kérő hívások jelenleg többek között a spekulatív dekódolást, a LoRA-adaptereket, valamint a külső vagy munkamenet-gyorsítótárakat kizárják. A nem támogatott kéréseket elutasítják; egy modell sikeres elindítása még nem igazolja e gyorsítótár-műveletekkel való kompatibilitását.