Thélyson Orélien, haićanski autor nastanjen u Quebecu, primio je nagradu Roman Fnac za svoje debitantsko djelo „C’était ça ou mourir”, koje se istovremeno našlo u selekcijama za Goncourt, Renaudot, Femina i Médicis. Istog dana kada je stiglo priznanje, anonimni račun na mreži X sa svega 92 pratitelja objavio je snimke zaslona američkog detektora Pangram koji sporne ulomke ocjenjuje kao „100 posto umjetna inteligencija”.
Nakladnik Grasset nazvao je to „kampanjom mržnje”, a autor tvrdi da zajedno s urednicima priprema dokaze da je knjigu napisao vlastitom rukom. Nijedan žiri zasad nije izbacio roman iz konkurencije. Predsjednica nagrade Femina, spisateljica Brigitte Giraud, za France Inter je knjigu ocijenila „izvanrednom” i odbila zauzeti stav dok se ne utvrdi čvrst dokaz.
Što detektori zapravo rade
Pangram je startup iz Brooklyna osnovan 2023., zapošljava oko 24 ljudi i prikupio je 13 milijuna dolara, od čega devet ovog ljeta. Njegov alat nije čitač, nego klasifikator: treniran je na milijunima ljudskih i strojno generiranih tekstova te prepoznaje statističke pravilnosti u odabiru riječi i ritmu rečenica. Nova verzija tvrdi da ima 0,0041 posto lažno pozitivnih rezultata — jednu grešku na 24.000 dokumenata, i to prema vlastitim mjerenjima.
France Inter je ulomke romana provukao kroz alat i dobio ocjene između 95 i 100 posto za umjetnu inteligenciju. Agencija AFP poslala je iste odlomke u sedam drugih detektora: jedan je zaključio 100 posto AI, dva su tvrdila suprotno, a preostala četiri kolebala su se ovisno o ulomku.
Takvi alati ne čitaju tekst, oni ga uspoređuju. Naučili su „tikove” obiju strana — previše predvidljive riječi, previše pravilan ritam, fraze koje modeli obožavaju. Pred novim ulomkom samo računaju kojem je profilu bliži i ispisuju postotak sličnosti. Ništa više od toga.
Postotak nije dokaz
Anonimni račun koji je pokrenuo aferu pomnožio je stopu pogreške Pangrama samu sa sobom za svaki testirani ulomak, kao da su uzorci neovisni. Dvadeset odlomaka iste knjige dijeli isti stil i isti ritam: ako alat jednom reagira na taj stil, reagirat će svaki put, i računica se ruši.
Ta je pristranost već dokumentirana. Istraživači sa Stanforda 2023. pokazali su da detektori pogrešno označavaju 61 posto radova studenata kojima engleski nije materinji jezik, jer ne odgovaraju naučenoj statističkoj normi. Orélien piše kreolizirani francuski, a softver je, kako sam kaže, naviknut na klasične književne tradicije.
Pangram tvrdi da njegovi noviji modeli odolijevaju toj pristranosti, kao i „humanizatorima” koji prepravljaju strojnu prozu. Francuski detektor Lucide navodi da je propustio cijelu knjigu — svih 35 poglavlja klasificirano je kao generirano, dok je 17 kontrolnih romana, među njima četiri haićanskih autora, prošlo čisto.
Dva konkurentska alata koja se slažu zvuče kao čvrst dokaz. No oba su učila na istim podacima, prodaju isti proizvod i mogu dijeliti istu slijepu točku.
Bruxelles nameće nevidljivi potpis
Od 2. kolovoza članak 50 europskog AI Acta obvezuje pružatelje usluga umjetne inteligencije da svoje sadržaje označe u strojno čitljivom formatu, uz kazne do 15 milijuna eura. Google od 2024. vodenim žigom obilježava tekstove Geminija kroz SynthID, a Anthropic se tome pridružio u kolovozu: nevidljivi žig ugrađen je u odabir riječi Claudea, i to globalno jer ga nije bilo moguće ograničiti samo na Europu.
Kompanija sama priznaje granice te metode. Oznaka govori da je tekst prošao kroz Claude, ali ne i tko je sjedio za tipkovnicom. Nestaje pri parafraziranju ili prevođenju, a kratki tekstovi joj izmiču. API za provjeru ostaje rezerviran za regulatore, medije, istraživače i organizacije koje podliježu istim obvezama.
Za profesore, nakladnike ili književne žirije to je tek dodatni indicij, nikad pečat autentičnosti. Za ovaj slučaj ionako nema nikakvu korist: roman je napisan prije nego što je sustav uopće zaživio.
Autor kaže da skuplja upravo ono što bi trebalo biti jedini relevantan dokaz: datirane rukopise i povijest verzija. Dok se to ne pregleda, jedan postotak vjerojatnosti već je pretvorio večer dodjele nagrade u javno suđenje. Ako detektor može uništiti karijeru na temelju sličnosti, a ne činjenica, pitanje nije samo je li Orélien pisao sam — nego tko će sljedeći morati dokazivati da je čovjek.
Ovo je vrlo dobar primjer problema s AI-detektorima: postotak vjerojatnosti nije dokaz autorstva. Najvažniji dio priče nije čak ni konkretni roman, nego metodološki problem. Detektor može pronaći obilježja koja su statistički slična tekstovima koje generiraju modeli, ali iz toga ne može pouzdano zaključiti tko je tekst napisao. Ako različiti alati isti odlomak klasificiraju potpuno različito, to dodatno pokazuje da rezultat treba tretirati kao indiciju, a ne kao forenzički dokaz. Posebno je problematično kada se vlastita procjena pogreške alata pretvara u matematičku sigurnost. Testovi nad odlomcima iste knjige nisu neovisni uzorci: svi potječu od istog autora, istog stila i istog djela. Zato jednostavno množenje vjerojatnosti pogreške može stvoriti privid goleme sigurnosti koji nije opravdan. S druge strane, ni činjenica da neki drugi detektori kažu „ljudski” sama po sebi ne dokazuje autorstvo. Ako se želi ozbiljno istražiti slučaj, puno su relevantniji rukopisi, ranije verzije, datoteke s vremenskim oznakama, urednička korespondencija i trag… Čitaj više »