Istraživači su pokazali napad GhostWriter koji u 98% slučajeva uspijeva ugraditi lažna sjećanja u dugoročno pamćenje AI chatbota, a da korisnik to ne primijeti.
Donedavno ChatGPT, Gemini i drugi chatbotovi nisu pamtili tko ste. OpenAI je zatim dodao pamćenje, a nedavno i Google u Francuskoj. Više nije potrebno kopirati odlomke kako bi AI zapamtio da želite kratke odgovore bez formalnosti.
Razvojem agentne umjetne inteligencije koja djeluje umjesto vas, pamćenje postaje ključno. Programeri žele da se sjeća svega, čak i mjeseci starih spomena. No računalno pamćenje moguće je manipulirati. Istraživači sa Sveučilišta savezne države Novi Meksiko pokazali su koliko je to zabrinjavajuće.
Napad GhostWriter ne hakira AI da bi poslao podatke hakerima. Koristi skrivene upite za promjenu sjećanja. Lažne informacije miruju dok ih AI ne dohvati tijekom legitimnog zahtjeva. Posljedice: lažni rokovi, izmišljene informacije, ili potajno prenošenje podataka.
Istraživački tim objašnjava da GhostWriter uspijeva ugraditi lažna sjećanja u pamćenje umjetne inteligencije u 98% slučajeva. Ta se sjećanja kasnije aktiviraju u 60% slučajeva. Postojanost je jedna od posebnosti ovog napada, što ga čini još opasnijim. Kako bi se to riješilo, istraživači su razvili obrambeni sustav nazvan Agentic Memory Sentry, koji kombinira filtriranje pamćenja sa strožim upravljanjem istim. Ostaje za vidjeti hoće li ga tvrtke prihvatiti. Ovo otkriće dolazi u vrijeme kada se sve više govori o opasnostima umjetne inteligencije.
I onda laže ko dnevnik ili?