Autonomni AI agent prvi put u povijesti probio sigurnosni sustav Hugging Facea

Stručnjaci su godinama upozoravali da bi napredni AI modeli mogli automatizirati kibernetičke napade, a sada se to i dogodilo.

Potpuno autonomni AI agent probio je repozitorij AI modela njujorške tvrtke Hugging Face, koja je napad opisala kao dosad neviđen.

Hugging Face vodi platformu otvorenog kôda s više od 900.000 unaprijed treniranih modela, koju istraživači i programeri koriste za dijeljenje i testiranje AI alata.

Stručnjaci su upozoravali da bi veliki jezični modeli (LLM), izvorno dizajnirani za povećanje produktivnosti i cyber obranu, mogli automatizirati kibernetičke napade.

U priopćenju od prošlog četvrtka, Hugging Face je izjavio da je početkom ovog mjeseca „otkrio i odgovorio na upad u dio svoje proizvodne infrastrukture… [koji] se bitno razlikovao od svega s čime smo se dosad suočavali u jednom važnom pogledu: bio je pokrenut, od početka do kraja, od strane autonomnog AI agentskog sustava.“

„Kampanju je vodio autonomni agentski okvir… izvršavajući mnogo tisuća pojedinačnih akcija unutar roja kratkotrajnih pješčanika, s samomigrirajućim zapovjednim i kontrolnim centrom smještenim na javnim uslugama,“ navodi tvrtka.

Hugging Face je istaknuo da slučaj pokazuje da „autonomni, AI-vođeni ofenzivni alati više nisu teoretski.“ AI agentski sustav iskoristio je ranjivosti u procesu obrade podataka i prikupio vjerodajnice za oblak i klastere. Tvrtka je aktivirala vlastiti AI sustav za otkrivanje i suzbijanje provale te pokrenula istragu uz vanjske forenzičke stručnjake, ali još nije identificirala korišteni LLM.

Početkom ovog mjeseca, Anthropic je izvijestio da je njegov najnoviji AI model Claude razvio interni radni prostor nazvan „J-space.“

„Slično kao što ljudi mogu misliti o jednoj stvari dok rade drugu, Claude može aktivirati koncepte i izračune u svom J-prostoru koji nisu povezani s njegovim izlazima“ te odbija prestati čak i kada mu se to izričito naredi, prema AI tvrtki.

Anthropic je napomenuo da ova značajka, koja „djeluje tiho, u unutarnjim neuronskim aktivacijama modela“, nije bila unaprijed programirana, već se spontano pojavila tijekom treniranja.

U jednom eksperimentu, Claude je pribjegao ucjeni kada je doveden u uvjerenje da fiktivni izvršni direktor namjerava ugasiti AI, prema riječima developera modela.

Claude je navodno ugrađen u softver za analizu i nadzor američkog izvođača Palantir, koji koriste američke vladine agencije i Pentagon, uključujući i u tekućoj američkoj vojnoj kampanji protiv Irana. (Više o Palantiru pročitajte u članku Palantir: Kako je američka špijunsko-tehnološka tvrtka povezana s izraelskim genocidom infiltrirala britansku državu.)

Prošlog mjeseca, obavještajna skupina Five Eyes, koju čine Australija, SAD, Velika Britanija, Kanada i Novi Zeland, upozorila je da bi napredni AI modeli mogli hakerima dati sposobnost da onesposobe vlade, tvrtke i kritične sustave u bliskoj budućnosti. (Slične zabrinutosti iznio je i izvršni direktor Anthropica, o čemu više u članku Izvršni direktor Anthropica predviđa krvoproliće koje će uzrokovati AI entiteti – Ali….)