Az AWS bemutatja a helyi ChatGPT GovCloud-beállítását

Az AWS telepítési útmutatója olyan helyi ChatGPT-asztalibeállítást mutat be, amely a modellkéréseket a GovCloud amerikai nyugati régiójában működő Bedrock Mantle-höz küldi. Olyan szervezeteknek szól, amelyek AWS-azonosságot és regionális szabályozást igényelnek az inferenciához, vagyis a kérések modell általi feldolgozásához. Az adminisztrátoroknak indítás előtt kell elhelyezniük a konfigurációt és a felügyelt követelményeket. Ezt az útvonalat a munkaállomás szabályai és az AWS-jogosultságok irányítják; a ChatGPT-munkaterület szerepkörei nem. A saját munkafolyamat felülvizsgálata és engedélyezése továbbra is a szervezet feladata.

Az OpenAI kliensdokumentációja külön magyarázza el a hitelesítést. A helyi kliens először Bedrock-API-kulcsot keres; ha nincs ilyen, az AWS SDK hitelesítőadat-láncát használja. A kiválasztott profil ezért nem feltétlenül határozza meg az aktív azonosságot. A modellnek elérhetőnek kell lennie a választott régióban, és az adott azonosságnak hozzáféréssel kell rendelkeznie. Az ellenőrzés része a kliensben jelzett szolgáltató vizsgálata: egy sikeres rövid válasz önmagában nem bizonyítja az útvonalat. A webes, felhőben futó Work és a Codex cloud nem része ennek a konfigurációnak.

Az alapul szolgáló Responses API dokumentációja két Bedrock-végpontot is megkülönböztet. Az AWS új alkalmazásokhoz a Runtime-ot ajánlja, ha a szükséges modell és funkciók támogatottak. A Mantle például háttérben végzett inferenciához és szerveroldali eszközökhöz marad releváns. A két végpont nem válik felcserélhetővé pusztán attól, hogy mindkettő fogad Responses-kéréseket. Útvonalválasztás előtt az adott végpont modell- és API-támogatását kell ellenőrizni.