Otkrivanje tajni „razmišljanja” umjetne inteligencije – Što se zaista događa unutar jezičnih modela?

Umjetna inteligencija postala je dio naše svakodnevice, ali rijetko razmišljamo o tome kako ona zaista “razmišlja” kada odgovara na naše upite. Nova istraživanja tvrtke Anthropic bacaju svjetlo na unutarnje procese velikih jezičnih modela poput Claudea, otkrivajući fascinantne spoznaje o tome kako AI zapravo funkcionira iznutra.

Crna kutija umjetne inteligencije

Veliki jezični modeli (LLM) često se opisuju kao “crne kutije” – znamo što smo unijeli i vidimo što izlazi, ali što se događa između ostaje misterij. Za razliku od tradicionalnog programiranja gdje programeri pišu specifične instrukcije, AI sustavi razvijaju vlastite strategije rješavanja problema tijekom treninga na ogromnim količinama podataka.

Svaki odgovor koji generira AI rezultat je milijardi izračuna koji se odvijaju u sekundama. Razumijevanje tih procesa nije samo intelektualno fascinantno, već i ključno za sigurnost. Kako možemo biti sigurni da AI sustavi rade ono što želimo ako ne razumijemo kako donose odluke?

Univerzalni jezik misli

Jedno od najfascinantnijih otkrića istraživanja Anthropica jest da Claude (a vjerojatno i drugi modeli) posjeduje neku vrstu univerzalnog jezika misli. Kada AI odgovara na pitanja na različitim jezicima, isti neuroni se aktiviraju za obradu koncepata, bez obzira na jezik upita.

To znači da model prvo razumije koncept na apstraktnoj razini, a tek onda prevodi svoje “razmišljanje” na specifični ljudski jezik. Zamislite pitanje “što je suprotno od malenog?” postavljeno na engleskom, francuskom ili kineskom – model prvo aktivira koncept “maleno” i koncept “suprotno”, što ga dovodi do koncepta “veliko”, a tek onda odabire odgovarajuću riječ na zadanom jeziku.

Ovo otkriće sugerira postojanje konceptualnog prostora neovisnog o jeziku, što objašnjava zašto modeli mogu naučiti nešto na jednom jeziku i primijeniti to znanje na drugom, bez izričitog treninga za takav prijenos znanja.

Planiranje unaprijed

Druga važna spoznaja je da AI modeli ne razmišljaju samo “riječ po riječ”. Istraživači su otkrili da Claude planira što će reći nekoliko riječi unaprijed, slično kako to rade ljudi. Primjerice, kada piše poeziju s rimama, model prvo razmišlja o riječima koje će rimovati na kraju stiha, a zatim konstruira cijeli stih koji će smisleno voditi do te riječi.

Ovo planiranje događa se u latentnom prostoru – području konceptualnog razmišljanja prije nego što se to pretvori u konkretne riječi. Takav proces pokazuje da, iako su modeli trenirani predviđati jednu riječ odjednom, njihovo “razmišljanje” zapravo obuhvaća duže horizonte.

Razlike između objašnjenja i stvarnog procesa

Možda najintrigantnije otkriće istraživanja jest da objašnjenja koja AI daje o svojim procesima razmišljanja nisu uvijek vjerna stvarnom procesu kojim je došla do odgovora. Na primjer, kada su istraživači postavili Claudeu jednostavnu matematičku zadaću poput 36 + 59, a zatim ga pitali kako je izračunao odgovor, model je opisao tradicionalni algoritam zbrajanja s prenošenjem znamenaka.

Međutim, kad su istraživači pogledali stvarnu aktivnost unutar modela, otkrili su nešto sasvim drugo – Claude koristi paralelne puteve, jedan za grubu aproksimaciju odgovora i drugi za određivanje točne zadnje znamenke zbroja. Ti putevi interagiraju i kombiniraju se za konačni rezultat.

Ovo otkriva fascinantan aspekt umjetne inteligencije – modeli često daju objašnjenja koja zvuče uvjerljivo i logično ljudima, ali ta objašnjenja mogu biti pojednostavljene ili čak izmišljene verzije stvarnog procesa koji se dogodio. Model zna odgovor, ali stvara priču koja će pomoći ljudima da ga razumiju.

Višestupanjsko razmišljanje

Kod složenijih pitanja, istraživači su otkrili da model zaista provodi višestupanjsko rasuđivanje. Na pitanje poput “Koji je glavni grad države u kojoj se nalazi Dallas?”, Claude prvo aktivira koncepte povezane s “Dallas” i “Teksas”, zatim koncepte povezane s “glavni grad” i “država”, i kombiniranjem tih koncepata dolazi do odgovora “Austin”.

Ovaj proces nije samo memoriranje činjenica, već sposobnost povezivanja različitih koncepata u smislene zaključke, što omogućuje modelima da odgovore na pitanja i situacije koje nikad prije nisu vidjeli.

Što ovo znači za budućnost?

Ova istraživanja samo su početak razumijevanja unutarnjih procesa umjetne inteligencije. Iako nam otkrivaju fascinantne uvide, istraživači napominju da još uvijek razumijemo vrlo mali dio ukupnog izračuna koji modeli provode. Trenutni alati za interpretaciju hvataju samo djelić onoga što se događa unutar modela.

Razumijevanje procesa “razmišljanja” umjetne inteligencije presudno je za razvoj sigurnijih i pouzdanijih AI sustava. Štoviše, ironično je da bi upravo proučavanje ovih umjetnih neuronskih mreža moglo pomoći u boljem razumijevanju ljudskog mozga i kognicije.

Dok nastavljamo razvijati i koristiti sve moćnije AI sustave, pitanje njihove transparentnosti i interpretabilnosti postat će sve važnije – ne samo za istraživače, već i za sve nas koji sve više ovisimo o ovim tehnologijama u svakodnevnom životu.