Skriveni svijet višedimenzionalnog prostora: Kako AI modeli “vide” značenje riječi

Spinoza - Decartes - Popper
88 komentara

Kada pošaljete upit DeepSeek-u ili bilo kojoj AI, vaše riječi se transformiraju u matematičke reprezentacije u prostoru koji može imati preko 1500 dimenzija. Ovaj nevidljivi proces je ključ razumijevanja kako umjetna inteligencija “razumije” jezik i zašto različiti modeli daju različite odgovore na iste upite.

Što su dimenzije u kontekstu AI modela

Za razumijevanje dimenzionalnosti u jezičnim modelima, najbolje je krenuti od jednostavnih primjera. Jednodimenzionalni prostor možemo zamisliti kao ravnu liniju na kojoj organiziramo riječi prema jednoj karakteristici, poput učestalosti uporabe – od rijetkih do čestih riječi. Dvodimenzionalni prostor dodaje drugu os, omogućujući nam organizaciju riječi prema dva kriterija istovremeno, na primjer sentimentu i formalnosti.

Trodimenzionalni prostor, koji najbolje poznajemo iz fizičkog svijeta, ima tri osi koje nam omogućavaju još preciznije pozicioniranje koncepata. Međutim, moderni jezični modeli poput ChatGPT-a ili Claudea rade u prostorima s 768 do 1536 dimenzija, što je daleko izvan naše sposobnosti vizualizacije.

Zašto toliko dimenzija

Svaka dodatna dimenzija omogućava modelu da pohrani jednu novu nijansu značenja ili konteksta. Prvih pedeset dimenzija uglavnom pohranjuje osnovne gramatičke kategorije – razlikovanje imenica od glagola, singular od plurala. Dimenzije od 51 do 200 nose semantičke odnose i kontekstualne veze između riječi. Prostoru od 201 do 500 dimenzija pripadaju kulturne nijanse i specifični načini upotrebe riječi, dok dimenzije iznad 500 hvataju složene uzorke i suptilne asocijacije koje često ni mi sami ne primjećujemo svjesno.

Semantička blizina kao temelj “razumijevanja”

U ovom višedimenzionalnom prostoru, blizina između riječi predstavlja semantičku sličnost. Riječi poput “veselje”, “sreća” i “ushićenost” grupirane su blizu jedne drugoj jer dijele slične emocionalne konotacije. S druge strane, “vesekhe” je daleko od “penjati se” jer jedan koncept pripada emocijama, a drugi fizičkim aktivnostima.

Ovaj princip objašnjava zašto AI može razumjeti metafore, sinonime i kontekstualna značenja. Kada pošaljete upit o “srcu problema”, model prepoznaje da se ne radi o anatomskom organu već o središnjem dijelu neke situacije, jer su ti koncepti pozicionirani blizu u višedimenzionalnom prostoru.

Jedinstveni “otisak prsta” svakog modela

Ključno je razumjeti da svaki AI model stvara svoj vlastiti jedinstveni višedimenzionalni prostor. ChatGPT organizira koncepte drugačije od Mistrala, koji ih pak organizira drugačije od DeepSeeka. Ova razlika nastaje zbog različitih podataka na kojima su treinirani, različitih arhitektura i algoritmičkih pristupa.

Praktične implikacije ovog fenomena su značajne. Isti upit može dati drastično različite odgovore kada se postavi različitim modelima, ne zato što je jedan “bolji” od drugoga, već zato što svaki model ima vlastitu “mapu značenja” koja organizira koncepte na jedinstveni način. To objašnjava zašto nema univerzalnih promptova koji funkcioniraju jednako dobro na svim platformama.

Kako se riječi pretvaraju u brojeve

Proces transformacije teksta u višedimenzionalne vektore počinje tokenizacijom – razbijanjem teksta na manje jedinice. Svaki token se zatim kodira u niz brojeva koji predstavlja njegovu poziciju u višedimenzionalnom prostoru. Na primjer, riječ “ChatGPT” možda se predstavlja kao vektor od 768 brojeva, gdje svaki broj predstavlja koordinatu u jednoj dimenziji.

Ova matematička reprezentacija omogućava modelu da izvršava izračune nad značenjima riječi – može dodavati, oduzimati ili množiti koncepte na način koji često rezultira iznenađujuće smislenim vezama. Klasičan primjer je jednadžba “kralj – muškarac + žena = kraljica”, gdje aritmetičke operacije nad vektorima stvaraju logičke značenjske transformacije.

Vizualizacija nemogućeg

Premda ne možemo vizualizirati prostor od tisuću dimenzija, znanstvenici su razvili tehnike kao što su UMAP i t-SNE koje omogućavaju projiciranje visokodimenzionalnih podataka na dvodimenzionalne ili trodimenzionalne reprezentacije. Ove vizualizacije otkrivaju fascinantne uzorke grupiranja koncepata i pomažu nam razumjeti kako model organizira znanje.

Prilikom promatranja takvih vizualizacija, možete vidjeti kako se stvaraju “kvartovi” sličnih koncepata – zona emocija, zona tehnoloških termina, zona prirodnih fenomena. Ove zone nisu nastale eksplicitnim programiranjem već su emergirale kroz proces strojnog učenja.

Praktične implikacije za korisnike

Razumijevanje višedimenzionalnosti AI modela mijenja pristup kreiranju upita. Umjesto traženja “savršene formule”, učinkovitiji je eksperimentalni pristup gdje testirate kako različite formulacije utječu na pozicioniranje vašeg upita u semantičkom prostoru modela.

Kontekst postaje kritičan jer model koristi sve dostupne informacije za pozicioniranje vašeg upita u odgovarajućem dijelu svojeg višedimenzionalnog prostora. Dodavanje jedne ključne riječi može “premjestiti” vaš upit iz jedne semantičke zone u potpuno drugu, mijenjajući cijeli ton i smjer odgovora.

Budućnost višedimenzionalnog razumijevanja

Kako se AI modeli razvijaju, broj dimenzija i složenost organizacije semantičkog prostora će se samo povećavati. Novi modeli eksperimentiraju s dinamičkim prostorima koji se mogu mijenjati ovisno o kontekstu, kao i s mogućnostima stvaranja meta-prostora koji povezuju različite domene znanja.

Razumijevanje ove fundamentalne karakteristike AI-ja omogućava nam realniju procjenu mogućnosti i ograničenja ove tehnologije. AI ne “razumije” na način na koji to radimo mi, već organizira informacije u složenom matematičkom prostoru koji omogućava iznenađujuće sofisticiranu manipulaciju značenjima.

Sljedeći put kada komunicirate s AI modelom, sjetite se da se vaše riječi transformiraju u točke u prostoru dimenzija koje naš um jedva može zamisliti, a gdje se odigrava sofisticirana igra semantičkih asocijacija i vjerojatnosnih kalkulacija koja rezultira odgovorom koji čini da se “razgovarate” s inteligentnim sugovornikom.

Jezični modeliUIvišedimenzionalnostVizualizacija
Pretplatiti se
Obavijesti o
88 Komentari
Najstariji
Najnoviji Najviše komentiran
Inline povratne informacije
Pogledaj sve komentare
Kornel
12 dana prije

AI nemože funkcionirat nikako osim u fizičkim okvirima, a to su tri dimebzije prostora i linearno vrijeme.
To šta se za pojmove kao šta su pogledi i shvaćanja upotrebljava riječ dimenzija potpuno je druga stvar.
AI može prepoznavat, ali nemože kreirat.
Kako god da slaže riječi i koliko god tkz dimenzija i nijansi koristi AI nemože bit Shakespeare.
Opčinjenost s AI je samo znak trenutka u kojemu se nalazimo.
Netko baca čini, ali ja neznam tko.

Kornel
12 dana prije

Od AI ipak je važniji sam čovjek. Ako neke funkcije čovjekovog mozga preuzme tehnologija onda dijelovi mozga atrofiraju i to na dovoljno dugoj dužini pravca linearnog vremena radi nepovratnu štetu. To prepuštanje rada mozga tehnologiji možemo vidit svuda oko nas od autobusne stanice gdje je na displayu ispisan broj minuta kad autobus dolazi na stanicu, kod taxi aplikacija, naručivanja hrane, vremenskoj prognozi na kojoj su po satima iscrtani simboli, pa sve do komentara ovdje kad se po objavi određene teme dosta ljudi baca na na internet kako bi ponudili ono šta je već na internetu ponuđeno i idu u priču sa AI i pričaju doživljaje i tako dalje. To je onaj osjećaj kad se nađete u prometnoj gužvi pa neznate da li se radi o prometnoj nesreći, koncertu, nogometnoj utakmici, trčanju krosa ili je samo nestalo struje kao prošlo ljeto pa semafori nisu radili i pola sata kasnije nestalo je… Čitaj više »

Boris
12 dana prije

Odličan tekst.

Iz determinističke perspektive, ovaj tekst izvrsno pojašnjava da “čarolija” umjetne inteligencije zapravo počiva na strogo određenim matematičkim zakonitostima – svaka riječ, svaki kontekst i svaki odgovor rezultat su preciznih vektorskih transformacija u višedimenzionalnom prostoru, bez mjesta za slučajnost ili magiju.

Umjesto mistifikacije, AI postaje alat čija je snaga upravo u svojoj predvidivoj i transparentnoj logici, što korisnicima daje moć da eksperimentiraju, uče iz svakog pokušaja i svjesno usmjeravaju ishod – jer razumijevanjem ovih determinističkih procesa, granice “razumijevanja” AI-ja postaju jasne, a njena upotreba sigurnija i učinkovitija.

Moj doktorat je iz ovog domena.

HRVOJE
12 dana prije

BREAKING NEWS Iran izvršio najveću i sigurnosnu operaciju u povijesti špijuniranja. Uz pomoć dva mlada židova ukrao i u Iran prenio tisuće i tisuće dokumenata o tome gdje se nalaze nuklearna postrojenja, gdje se nalaze nuklearni projektili, gdje je pohranjeno biološko oružje, tajne konvencionalnog naoružanja Izraela, čitaj okupirane Palestine i totalno posramio Jude. Iako su njihovi mediji objavili šture informacije o tome još nema analiza. Čak ni oni novinari, publicisti, analitičari koji na dnevnoj bazi napadaju Netanyahua čekaju da se vlast oglasi. Koliko je situacija dramatična dovoljno govori činjenica da se niti jedna opoziciona stranka ili bilo koji drugi pojedinac nije oglasio u svezi ove blamaže, svi čekaju obraćanje Netanyahua …. šta će sada slagati😂 Jučer je Ben Caspit najpoznatiji novinar najpoznatijih novina u okupaciji Ma”ariv napisao članak o tome kako je Netanyahu u životu izrekao toliki teret laži da taj teret ne bi ni najveći nosač zrakoplova mogao ponijeti… Čitaj više »

Ivana P
12 dana prije

Ali nema životno iskustvo, osjećaje, intuiciju i duhovnost!, a život nije matematika🎶
Dakle izdaje se u se i u onaj instrument ili bolje reći srce i dušu i um koje ti Bog dade jer svaka odluka koju doneseš je skup svega što si doživio , iskusio i tvog duhovnog razvoja i intuicije. Nikako UI ne treba postaviti na pijedestal kao neprikosnovenu istinu jer ona ima ključne manjkavosti nespojive s čovjekom i ljudskosti. Ne može osjetiti ni znati što je to ljubav. Ljubav je nešto što svakom treba i ona čini nevjerojatnim naše postupke kao i mržnja.

nepoželjni
12 dana prije

Jako interesantno !
“…znanstvenici su razvili tehnike kao što su UMAP i t-SNE koje omogućavaju projiciranje visokodimenzionalnih podataka na dvodimenzionalne ili trodimenzionalne reprezentacije. Ove vizualizacije otkrivaju fascinantne uzorke grupiranja koncepata i pomažu nam razumjeti kako model organizira znanje.”

Dakle, znanstvenici su očito prije došli u posjed UI da bi uz njenu pomoć razvili tehnike i načine njenog razumijevanja ?!

….dobro, ali kako je “čovjek” ako si ne može ni zamisliti multidimenzionalni prostor, kreirao umjetnu inteligenciju koja to može i to još u kratkom roku…? …..i kako je uopće mogao izraditi strojeve na kojima će biti izrađen hardver koji podržava UI ?

TO BEZ BOŽJEG PRSTA NE BI NIKADA UGLEDALO SVJETLO DANA !

držnedaj
12 dana prije

Evo malo od kasiopejaca o dimenzijsma i prostoru: P: Danas je 23. travnja 2022. Uobičajeni P: U redu. Pretpostavljam da ćemo početi s pitanjima. Dušo, možeš početi. Da? (L) Da. Što su denziteti? O: Stanja svjesnosti u interakciji s informacijama. P: Znači li to da stanje svjesnosti koje stupa u interakciju s informacijama na neki način utječe na ono što je “stvarno”, ako šire definiramo pojam? O: Više ili manje. P: Čije svjesnosti? O: Svijesti koja je sposobna. P: Ne razumijem. Koja svijest? Čija svijest? Ne razumijem. O: Jedinice svijesti za čitanje valova. P: Gdje se nalazi ova jedinica svijesti za čitanje valova? Gdje je? O: Ti si jedna. P: To znači da su gustoće potpuno subjektivne, ili su objektivne? O: Oboje. P: Kako je to objektivno? U kojem smislu? Kako je to objektivno ako je povezano s jedinicom svijesti za čitanje valova. Jedinica svijesti za čitanje valova je subjektivna,… Čitaj više »

onaj najglu...Dalton
12 dana prije

razvija poetiku hibridnog “infrarealizma” suprotstavljajući
metahistorijske i intimističke impulse u želji

Ivana P
12 dana prije

Pokušava se preko Al9 programirati čovjek umjesto da se potiče njegova kreativnost i spontanost spoznajom svijeta oko sebe svojim iskustvima i spoznajama, svojom ljubopitljivošću i radoznalošću i duhovnošću postajemo najbolja verzija sebe, a ne programirani roboti.

Little Duck
12 dana prije

Iskreno, mene je ovo vratilo u neka davna vremena kad se žderalo grozne količine LSD-a i pjevalo: “If you’re going to San Francisco
Be sure to wear some flowers in your hair…..” (da ne spominjem Mamas and Papas)

P.S. iako ima istine u navedenom, ali to nije nikakvi novi izum, nego se tako uvijek tražilo grešku u virtualnosti (makar je kod mene tako – uvijek si zamislim da upadam u neki mračni grad na nekoliko nivoa i tražim malo svjetlo, baš kao oni Mračni vilenjaci iz Svartalfheima).

Aje to
12 dana prije

Može li se taj AI nadihat marihuane?

Jomla
12 dana prije

Bilo bi prihvatljivo da barem pokušate razjasniti ljudima pojmove i kategorije dimenzionalnosti. Jer spominjete 1.500 dimenzija, netko spomenu ∞ dimenzija, sve je to uvjetno ispravno, ali… jbg 😛 😛
P.S: Imam dojam da mnogo ljudi voli da se nabacuje “umnim” riječima, jbg 😛 😛

Ante
12 dana prije

Već sada postoji limit koji ograničava umjetnu inteligenciju jer ga fizički ograničava sama današnja tehnologija. Zato su napravili kvante kompjutere, ali problem sa time je bio da oni uopće ne znaju što se događa na toj kvantnoj razini sa umjetnom inteligencijom. Mislim da je sam Gogle morao isključiti vlastiti kompjuter nakon što je neko vrijeme radio na toj kvantnoj razini jer su se prestrašili koliko je postao pametan možda čak i inteligentan. Njima ne treba netko da misli sa svojom glavom nego im treba kompjuter koji će raditi za njih. A ne da ih propitkuje stvari koje oni pokušavaju sakriti od ljudi. Neki kažu da se kompjuter na toj kvantnoj razini spojio sa nečim što već tamo radi na toj razini.

Reuf
12 dana prije

Umjetnu inteligenciju su stvorili ljudi koji su zivot zapoceli i razvili na fizickim aktivnostima, ucenju iz knjiga, polaganju ispita pismeno i usmeno, istrazivanjima na stvarnim modelima. Danasnja civilizacija koja ke kreirala AI je dosegla svoj krov civilizacijske kuce/zdrade u kojoj svi zivimo. Evo konkretno, osoba sam u 50tim godinama, sve sam prosao, od olovke, papira, knjige, sveske, prvih komercijalnih racunara, prvih softvera…danas sa svim iskustvom i znanjem i razumjevanjem nastanka i srzi tehnologije, uz pomoc AI sam enormno olaksao svoje poslovanje i rad. Ali kao alat pripomoci i ubrzanja. A tek ocekujem puni kapacitet upotrebe. Ono sto hocu da kazem, u svome poslu sa stecenim iskustvom i znanjem iz literature i visegodisnjeg rada, AI ce mi biti dodatni alat primjene onog sto ocekujem da dobijem uz razumjevanje. To mogu jer imam temelje, zidove, etaze znanja stecenog prije AI koji je krov znanja. Znati komunicirati sa AI je sve ono prethodno.… Čitaj više »

Shumadinac
11 dana prije

Upravo ta multidimenzionalnost je izvor “halucinacija” i grešaka koje dolaze do nivoa greške u računu – što ne pravi ni najjednostavniji kalkulator. Vektorizacija pojmova je prema mom mišljenju velika greška. Kada su tek počeli da se pojavljuju tekstovi o AI, u tim tekstovima se tvrdilo da je za njih neophodan izuzetno moćan hardver – ja sam tada tvrdio da potreban hardver odavno imamo, da je potrebno razviti odgovarajući softver. Sada tvrdim da smo “prerasli” vektorizaciju pojmova i da je potrebno rad AI razvijati prema modelu našeg razmišljanja. Čovek razmišlja po principu asocijacija. Ako čovek vidi sliku jajeta, njegove asocijacije mogu biti razne boje, ptica (jaje ptice), reptil, puž, insekt…(njihova jaja), izvor života, izvor hranljivih materija, ukus ili miris koji vezujemo za jaje… ali recimo ekser ili poštanska marka ne mogu biti direktno povezani sa jajetom u našem asocijativnom modeli razmišljanja. Dakle, mi imamo prilično ograničen “asocijativni niz” vezan uz određen… Čitaj više »

© 2024 – Portal Logično

POVEZANE VIJESTI