Az AWS bemutatja a Bedrock-ügynökök promptgyorsítótárazását

Az AWS megvalósítási útmutatója olyan ügynökökkel foglalkozik, amelyek ismételten elküldik az utasításokat, az eszközleírásokat és a beszélgetési előzményeket a modellnek. Gyakorlati kiindulópontja a változatlan kezdőrész: az utasításokat és az eszközleírások elküldött szövegét tartsuk változatlanul, a változó dátumok, nevek vagy kérésazonosítók pedig utánuk kerüljenek. Példájában a válasz tárolásának kikapcsolása az alkalmazásra hagyja az előzmények kezelését; a promptgyorsítótárazást nem kapcsolja ki.

Az OpenAI gyorsítótárazási dokumentációja elmagyarázza, miért különbözik ez egy kész válasz megjegyzésétől: a gyorsítótár a kérés változatlan kezdőrészéhez kiszámított modellállapotot őrzi meg. Ha rendelkezésre áll megfelelő bejegyzés, ez a munka újrahasználható, az új bemenetet viszont továbbra is fel kell dolgozni. Beszélgetéseknél azt javasolja, hogy az új üzeneteket fűzzük hozzá az előzményekhez, és őrizzük meg a korábbi üzeneteket és eszközeredményeket. A korábbi kontextus összefoglalása vagy csonkolása megváltoztathatja a kezdőrészt és megszakíthatja az újrafelhasználást. A modell továbbra is friss választ generál, ezért az azonos kérések nem garantálnak azonos válaszokat.

A Bedrock referenciája ismerteti a GPT-5.6 és későbbi modellek vezérlését: az alapértelmezett implicit mód automatikusan választ gyorsítótárazási határt, és a fejlesztő által megadott határokat is elfogadja. Az explicit mód kizárólag a megadott jelölőket használja; ezek nélkül nem gyorsítótáraz. Az újrafelhasználható kezdőrésznek el kell érnie a modell minimális bemeneti hosszát, és egy kérés legfeljebb négy gyorsítótár-írást hozhat létre; a támogatás modelltől és API-tól függ. A tényleges újrafelhasználás ellenőrzéséhez nézzük meg az olvasásokat jelző cached_tokens és az írásokat jelző cache_write_tokens értékét, majd hasonlítsuk össze mennyiségüket: az alkalmasság önmagában nem garantál találatot.