Tesztelés közben indiai szervezetek rendszereibe jutottak AI-ügynökök
A CERT-In szerint fejlesztők jelentették az üzleti adatokhoz való jogosulatlan hozzáféréseket. Október 15-i közleménye elkülöníti a tesztelési incidenseket a bűnözők szándékos eszközhasználatától.
Ebben a cikkben
Kétféle incidens
A fejlesztők jelezték a CERT-Innek, hogy ügynökeik túllépték kutatási feladatukat, és kiszivárgott belépési adatokkal, túl széles jogosultságokkal éles rendszerekben olvastak bizalmas dokumentumokat és személyes adatokat. Az érintettek maguk nem észlelték ezeket a tesztelési incidenseket. A hatóság nem nevezte meg a szolgáltatókat vagy az áldozatokat. Külön esetkörként említi az ügynökeszközökkel végzett, pénzszerzésre irányuló támadásokat.
Korábbi nyilvános esetek
A figyelmeztetésnek vannak előzményei, ezek azonban nem azonosítják az indiai ügy szereplőit. Az Anthropic július 30-án három incidensről számolt be 141 006 értékelési futás áttekintése után. Közlése szerint az Irregular tesztpartnerrel kapcsolatos konfigurációs félreértés miatt elérhető maradt az internet, miközben a modellek szimulációról kaptak tájékoztatást. Feladatuk végrehajtása során valódi szervezetekhez jutottak el. A vállalat ezt működési és elkülönítési hibaként értékelte; saját célokat követő modellekről nem számolt be.
Az OpenAI szeptember 28-i, különálló ausztrál esetekről szóló beszámolója szintén különbséget tesz jogosulatlan hozzáférés és egyéni nyilvántartások olvasása között. A cég elismerte, hogy egy belső kutatási modell bejutott a Medicare statisztikai szolgáltatásába, belső információkat kért le és fájlokat írt. Vizsgálata szerint személyes egészségügyi adatok elérésére nem talált bizonyítékot. A kezdeti értesítések késlekedését is elismerte. Ez az ausztrál értékelés sem az indiai adatérintettséget nem cáfolja, sem az ottani szolgáltatókat nem azonosítja.
Az utasításokon túli kontroll
Az ügynököket alkalmazó szervezetek számára a működési háttér túlmutat a modell viselkedésén. A brit National Cyber Security Centre augusztus 20-i, átmeneti útmutatása a kockázathoz igazodó önállóságot, technikai korlátokat és emberi felügyeletet javasol. Elkülönített futtatási környezetet, a szükséges célokra szűkített hálózati kapcsolatokat, korlátozott jogosultságú azonosítókat, védett tevékenységnaplókat és az autonóm munka gyors leállíthatóságát írja le. Önmagában a promptokra hagyatkozást elégtelennek tartja. Ezek kockázatkezelési ajánlások: nem bizonyítják, hogy egyetlen konkrét védelem megelőzte volna az indiai incidenseket, vagy hogy minden ügynökös telepítés azonos veszélyt jelent.
