Istraživači su pokazali napad GhostWriter koji u 98% slučajeva uspijeva ugraditi lažna sjećanja u dugoročno pamćenje AI chatbota, a da korisnik to ne primijeti.
Donedavno ChatGPT, Gemini i drugi chatbotovi nisu pamtili tko ste. OpenAI je zatim dodao pamćenje, a nedavno i Google u Francuskoj. Više nije potrebno kopirati odlomke kako bi AI zapamtio da želite kratke odgovore bez formalnosti.
Razvojem agentne umjetne inteligencije koja djeluje umjesto vas, pamćenje postaje ključno. Programeri žele da se sjeća svega, čak i mjeseci starih spomena. No računalno pamćenje moguće je manipulirati. Istraživači sa Sveučilišta savezne države Novi Meksiko pokazali su koliko je to zabrinjavajuće.
Napad GhostWriter ne hakira AI da bi poslao podatke hakerima. Koristi skrivene upite za promjenu sjećanja. Lažne informacije miruju dok ih AI ne dohvati tijekom legitimnog zahtjeva. Posljedice: lažni rokovi, izmišljene informacije, ili potajno prenošenje podataka.
Istraživački tim objašnjava da GhostWriter uspijeva ugraditi lažna sjećanja u pamćenje umjetne inteligencije u 98% slučajeva. Ta se sjećanja kasnije aktiviraju u 60% slučajeva. Postojanost je jedna od posebnosti ovog napada, što ga čini još opasnijim. Kako bi se to riješilo, istraživači su razvili obrambeni sustav nazvan Agentic Memory Sentry, koji kombinira filtriranje pamćenja sa strožim upravljanjem istim. Ostaje za vidjeti hoće li ga tvrtke prihvatiti. Ovo otkriće dolazi u vrijeme kada se sve više govori o opasnostima umjetne inteligencije.
2 komentara
I onda laže ko dnevnik ili?
Napredak u razvoju umjetne inteligencije i biomedicine ponovno je otvorio raspravu o tome hoće li starenje jednog dana postati kontroliran proces.
Među najglasnijim zagovornicima takvog scenarija je futurolog i izumitelj Ray Kurzweil, koji smatra da se medicina približava prekretnici.
Kurzweil, koji sada ima 78 godina, ponovio je svoje predviđanje temeljeno na konceptu “brzine bijega od dugovječnosti”. Prema toj ideji, do 2032. godine medicinske tehnologije trebale bi dosegnuti razinu na kojoj mogu kompenzirati biološke promjene koje tijelo prolazi tijekom svake godine života.
To bi značilo da znanost više ne bi samo usporavala starenje, već bi i omogućila osobi da ima još jednu godinu zdravog života za svaku godinu koja prođe.
Istovremeno, Kurzweil naglašava da takav razvoj događaja ne podrazumijeva besmrtnost u doslovnom smislu. Ljudi će i dalje umirati od nesreća, infekcija ili nasilja, ali smrt uzrokovana samim procesom starenja mogla bi prestati biti neizbježna biološka sudbina.
Glavni razlog optimizma vidi u ubrzanom razvoju umjetne inteligencije. Navodi da procesi otkrivanja novih lijekova i računalne biologije, koji su prije bili spori i skupi, postaju digitalni, puno brži i lako skalabilni.
Sustavi umjetne inteligencije već mogu analizirati milijune mogućih molekula, identificirati terapijske ciljeve, modelirati biološke procese i predlagati nove metode liječenja brzinom koja prije nije bila moguća.
Stoga vjeruje da će se tempo medicinskih otkrića značajno ubrzati tijekom sljedećeg desetljeća, umjesto da se veliki proboji događaju jednom svakih nekoliko godina ili čak desetljeća.