Dok tvrtke ubrzano usvajaju umjetnu inteligenciju, alati za nadzor te iste tehnologije često zaostaju, ostavljajući menadžment u mraku oko stvarnih troškova i rizika.
Na to je odgovorio Cribl, tvrtka specijalizirana za upravljanje telemetrijskim podacima, predstavivši novu aplikaciju AI Observability. Ona je ugrađena u njihovu postojeću platformu i pruža uvid u potrošnju tokena, financijske izdatke te rizike povezane s podacima unesenim u upite (prompte) modelima umjetne inteligencije.
Problem s kojim se tvrtke suočavaju nije trivijalan. Teško je utvrditi koji se modeli koriste unutar pojedinih timova, koliko stvarno koštaju te koje aplikacije uzrokuju nagli rast potrošnje. Nova aplikacija objedinjuje informacije iz različitih modela, aplikacija i odjela, nudeći jedinstvenu sliku aktivnosti vezanih uz AI.
Uštede i sigurnost u istom alatu
Jedna od ključnih funkcija jest mogućnost usporedbe modela i njihovih troškova. Timovi mogu analizirati potrošnju tokena po modelu, aplikaciji ili radnom opterećenju, što omogućava prepoznavanje vrhunaca potražnje. Takva analiza može otkriti zadatke koji bi se mogli preusmjeriti na manje i jeftinije modele, što je posebno važno u vremenu kada se svaki trošak preispituje.
AI Observability ne bavi se samo financijama. Aplikacija može otkriti prisutnost osjetljivih podataka u upitima i zapisima, a zatim rekonstruirati cijele sesije kako bi se razumjelo kako je aplikacija ili korisnik komunicirao sa sustavom umjetne inteligencije. Analize se temelje na telemetrijskim podacima koji već prolaze kroz Cribl ili su pohranjeni u drugim okruženjima, čime se izbjegava stvaranje novih cjevovoda i nepotrebno kopiranje podataka.
Kako objašnjava Clint Sharp, suosnivač i izvršni direktor Cribla, tvrtke žele vidljivost nad upotrebom i rizicima AI-ja, jačanje detekcije i fleksibilnost za rad s postojećim alatima. No postavlja se pitanje koje izvor ne postavlja: hoće li ova vrsta nadzora zaista smanjiti troškove ili će samo dodatno povećati ovisnost o skupim tehnološkim rješenjima?
U konačnici, sljedeći korak za poduzeća bit će povezivanje svake upotrebe s konkretnim troškom, odgovornim timom i razinom rizika. To je nužan korak prema odgovornijem upravljanju umjetnom inteligencijom, ali i podsjetnik da tehnologija, koliko god bila napredna, ne može zamijeniti jasnu korporativnu strategiju i ljudsku odgovornost.