Kaos u umjetnoj inteligenciji nije greška nego matematika

Istraživanje koje potpisuju profesor Pulin Gong s Fakulteta fizike i njegov doktorand Andrew Ly objavljeno je u časopisu Nature Machine Intelligence. Njihov je zaključak neugodan za industriju koja milijardama dolara uvjerava javnost da su njezini modeli pouzdani: dva sustava umjetne inteligencije trenirana na identičnim podacima, po identičnom postupku i na identičnom hardveru mogu završiti s posve različitim ponašanjem. Razlog nije greška u kodu ni numerička buka stroja.

Tim je istrenirao približno 500.000 neuronskih mreža — sustava za prepoznavanje slika i obradu teksta — i otkrio da se prostor mogućih početnih postavki ponaša kao fraktal. Matematičari takvu strukturu zovu izbušenim bazenima privlačenja (engleski riddled basins): svaka točka leži proizvoljno blizu točaka koje vode negdje drugdje. Koliko god duboko zumirali, plava i narančasta regija ostaju isprepletene.

Deset milijardi puta preciznije — i ništa

Brojka koja najbolje opisuje problem dolazi iz jednog većeg modela za prepoznavanje slika. Kada su istraživači početne postavke učinili deset milijardi puta preciznijima, reproducibilnost se nije mjerljivo popravila. A promjena najmanjeg koraka koji računalo može zabilježiti — jednog bita — poslala je trening u drugu unutarnju konfiguraciju u gotovo polovici slučajeva, točnije oko 48 posto.

Gong i Ly tvrde da su dosadašnja objašnjenja bila plitka. Kolege su razlike u ponašanju AI sustava pripisivali vanjskoj slučajnosti: redoslijedu kojim se podaci izlažu modelu ili sitnim numeričkim varijacijama koje unosi hardver. Novi rad pokazuje da efekt ostaje i kad se ti faktori uklone, u potpuno determinističkom okruženju u kojem bi ponovljeni treninzi inače morali dati identičan rezultat.

Praktična posljedica je neugodna. Ly navodi primjer dvaju sustava treniranih da otkriju rak na istim medicinskim snimkama i po istom postupku. Sitne razlike u početnim parametrima mogu ih odvesti do različitog ponašanja. U kontekstu medicine to nije akademska sitnica — to je pitanje može li se dijagnostičkom alatu vjerovati kad ga se pusti u bolnicu.

Trade-off koji industrija ne voli spominjati

Studija otkriva i nešto što proizvođači modela radije prešućuju: postoji izravna suprotnost između učinkovitosti i reproducibilnosti. Postavke koje mreži omogućuju najbolje učenje ujedno čine njezine ishode najteže predvidivima. Smanjenje stope učenja — koraka koji mreža čini pri svakoj prilagodbi — vraća predvidivost, ali mreža uči slabije. Drugim riječima, što je model sposobniji, to je manje pouzdan u smislu ponovljivosti.

To je izravan udarac na poslovni model velikih tehnoloških kompanija koje svoje sustave prodaju kao stabilne i predvidive. Ako je nestabilnost ugrađena u samu matematiku neuronskih mreža, a ne u inženjering, onda je pitanje koliko su sve dosadašnje certifikacije i testiranja pouzdanosti — osobito u reguliranim sektorima poput zdravstva i financija — zapravo vrijedne.

Gong i Ly predlažu buduće smjerove: redizajn arhitektura mreža kako bi se smanjili matematički uvjeti koji rađaju nestabilnost. I sam priznaje da cilj nije samo točna predikcija, nego povjerenje da se ta predikcija može ponoviti.

Ali ovdje se otvara pitanje koje studija ostavlja po strani: ako je reproducibilnost fundamentalno ograničena, tko će preuzeti odgovornost kada algoritam u bolnici, banci ili pravosudnom sustavu donese odluku koju nitko ne može objasniti ni ponoviti? Fraktalna matematika nudi objašnjenje, ali ne i odgovornost. A upravo se na pitanju odgovornosti lomi povjerenje javnosti u umjetnu inteligenciju — mnogo više nego na pitanju točnosti.

Istraživanje je objavljeno u Nature Machine Intelligence pod naslovom o geometriji fraktalnih bazena i granicama predvidivosti i reproducibilnosti u dubokom učenju.