Stvarni svijet je golem i da bi u njemu djelovali, fizički AI sustavi trebaju razumjeti kako se scena mijenja, predvidjeti što bi se moglo dogoditi sljedeće i odrediti kako će neka radnja utjecati na svijet.
Strojevi djeluju na rubu mreže u tvornicama, skladištima, bolnicama i šire. Da bi razumjeli i djelovali u tim okruženjima, potrebni su im modeli koji pružaju performanse razine podatkovnog centra na sustavima s ograničenom memorijom.
Danas objavljujemo NVIDIA Cosmos 3 Edge na Hugging Face Cosmos 3 repozitoriju. To je otvoreni svjetski model s 4 milijarde parametara koji pomaže robotima i AI agentima za vid da razumiju svoje okruženje, rasuđuju u stvarnom vremenu i generiraju robotske radnje na rubnim uređajima.
Model pruža memorijski učinkovito, visokopropusno zaključivanje na NVIDIA rubnim računalima uključujući NVIDIA RTX PRO GPU, NVIDIA DGX, NVIDIA GeForce RTX GPU, NVIDIA Jetson uključujući novonajavljene Jetson T2000 i T3000 module.
Dizajniran je kao kompaktni otvoreni model koji može poslužiti kao mali vizualni jezični model (VLM) s najboljom propusnošću i točnošću u klasi te zaključivanjem u stvarnom vremenu.
Kao post-trenirani svjetski akcijski model (WAM), Cosmos 3 Edge radi na rezoluciji za robotsko upravljanje (640×360 opažanja), pružajući rasuđivanje u stvarnom vremenu i generirajući 32 radnje po zaključivanju na NVIDIA Jetson Thor – uz postizanje upravljanja u stvarnom vremenu pri 15 Hz.
Među modelima slične veličine (4B parametara), Cosmos 3 Edge zauzima #1 mjesto na VANTAGE-Bench za vizualnu analitiku i najsuvremeniji je za učenje robotskih politika, postavljajući nove standarde za pametnu infrastrukturu i robotiku.
Što je modeliranje svijeta?
Svjetski model uči kako se okruženje mijenja tijekom vremena. Predstavlja objekte, kretanje, prostorne odnose i učinke radnji.
Zamislite robota koji poseže za predmetom. Prepoznavanje predmeta samo je prvi korak. Robot također mora razumjeti gdje se predmet nalazi, kako se njegov hvataljka kreće, što se može dogoditi pri kontaktu i koja radnja najvjerojatnije vodi uspješnom dovršetku zadatka.
Svjetski model pomaže robotu rasuđivati o tim odnosima. Može predvidjeti vizualni rezultat radnje, zaključiti radnju koja je uzrokovala promjenu ili generirati radnju za postizanje željenog ishoda.
Cosmos 3 Edge objedinjuje ove mogućnosti u jednom modelu, na samom uređaju. Njegova zajednička reprezentacija omogućuje fizičkim AI sustavima da razumiju trenutno stanje svijeta, simuliraju moguće budućnosti i povežu te budućnosti s radnjama.
Dva transformatorska tornja, jedna zajednička reprezentacija
Cosmos 3 kombinira dva transformatorska tornja:
- Autoregresivni toranj: obrađuje vizualne i tekstualne tokene za razumijevanje i rasuđivanje.
- Difuzijski toranj: obrađuje vizualne, audio i akcijske tokene za predviđanje, generiranje i neuronsku simulaciju.
Dva tornja održavaju zasebne slojeve normalizacije i višeslojne perceptrone. Dijele višemodalne slojeve pažnje koji usklađuju informacije između jezika, videa, zvuka i radnje.
Ovaj dizajn omogućuje modelu da rasuđuje o sceni prije generiranja izlaza. Ovisno o zadatku, Cosmos 3 može proizvesti tokene rasuđivanja iz autoregresivnog tornja ili denoizirane video i akcijske tokene iz difuzijskog tornja.
Obrazac pažnje također je prilagođen svakoj vrsti informacija. Jezik koristi uzročnu pažnju, gdje svaki token pazi na tokene koji su mu prethodili. Difuzijski tokeni pažnju posvećuju šire dostupnom kontekstu, podržavajući koherentno predviđanje i generiranje.
Zajedno, ove komponente modelu daju zajedničku reprezentaciju onoga što se događa, što bi se moglo dogoditi sljedeće i kako bi radnja mogla utjecati na ishod.
Zajednička reprezentacija za radnju
Fizički sustavi opisuju radnje na različite načine. Vozilo može predstaviti radnju kroz položaj i kretanje ega. Kamera koristi kretanje kamere. Robotska ruka koristi položaj svog krajnjeg efektora, dok ruka ili hvataljka također trebaju predstaviti stanje hvatanja.
Cosmos 3 preslikava ove različite inkarnacije u zajedničku reprezentaciju radnje.
Radnje su kodirane kao kompaktni geometrijski vektori koji bilježe:
- Translaciju
- Rotaciju
- Stanje manipulacije
To stvara izravnu vezu između upravljanja i vizualne strukture svijeta. Model može povezati promjene u pikselima s fizičkim kretanjem, prostornim odnosima i upravljačkim ulazima.
Kao rezultat, generirani video postaje više od vizualnog predviđanja. Može predstavljati kako se očekuje da će se svijet promijeniti kao odgovor na radnju. To programerima daje podatke za obuku utemeljene na kretanju, upravljanju te uzroku i posljedici.
Režim politike
Kao politika, Cosmos 3 predviđa radnju zajedno s njezinom očekivanom vizualnom posljedicom.
Model može generirati što bi sustav trebao učiniti i simulirati što će se vjerojatno dogoditi sljedeće. To izravno povezuje modeliranje svijeta s obukom i evaluacijom robotskih politika.
Trenutno stanje ulaz, radnja i vizualna posljedica izlaz.
Ovi režimi omogućuju jednom modelu da uči uzrok, posljedicu i politiku. Radnja može prolaziti kroz model u oba smjera, omogućujući Cosmos 3 Edge-u da predvidi učinke radnje ili zaključi radnju iz njezinih učinaka.
Također objavljujemo Cosmos 3 Edge Policy (DROID): robotsku manipulacijsku politiku post-treniranu na DROID skupu podataka za zadatke podizanja i postavljanja, s popratnim skriptama za post-treniranje.
Programeri mogu koristiti mali skup H100 ili NVIDIA DGX Station za učinkovito fino podešavanje Cosmos 3 Edge za svoje ciljne radne zadatke prije implementacije na NVIDIA rubne i ubrzane računalne platforme.
Post-trenirani uzorci za poboljšane performanse
Uz osnovne modele, objavljujemo referentne post-trenirane kontrolne točke i recepte za obuku kako bi programeri mogli prilagoditi i optimizirati Cosmos 3 za svoje vlastite aplikacije.
Cosmos 3 je otvorena platforma temeljnih svjetskih modela. Kako se modeli post-treniraju s visokokvalitetnim, domen-specifičnim podacima, njihova točnost nastavlja rasti za specijalizirane aplikacije. Cosmos služi kao početna točka za izgradnju domenski prilagođenih svjetskih modela korištenjem otvorenih okvira. Post-treniranje omogućuje programerima poboljšanje performansi modela uz očuvanje kvalitete izlaza.
Step-destilirani Cosmos3-Super: 25x brže, ista kvaliteta
Objavljujemo step-destilirane verzije Cosmos3-Super: Cosmos3-Super-Image2Video-4Step i Cosmos3-Super-Text2Image-4Step. One smanjuju uzorkovanje s 50 denoizirajućih koraka na samo 4 i uklanjaju potrebu za klasifikatorski slobodnim vođenjem – koje inače udvostručuje rad po koraku – do 25× bržeg zaključivanja u odnosu na osnovni model, uz gotovo nikakav gubitak kvalitete generiranja.
Na Artificial Analysis Image-to-Video ljestvici (stanje od 23. srpnja 2026.), destilirani I2V model zauzima #1 mjesto među otvorenim modelima, ispred punog Cosmos3 Super učitelja od kojeg je destiliran; destilirani Text-to-Image model zauzima #2 mjesto – što znači da dobivate vrhunsku kvalitetu videa s otvorenim težinama uz djelić računalnih resursa.
Također objavljujemo cijeli recept za destilaciju i skripte za obuku na Cosmos GitHub repozitoriju, tako da programeri mogu destilirati vlastite Cosmos3 kontrolne točke za brže, aplikacijski specifično generiranje slika i videa.
Što slijedi
Nastavljamo unapređivati Cosmos 3 za fizičku umjetnu inteligenciju, s nadolazećim poboljšanjima u interaktivnom generiranju svijeta, simulaciji voznih scenarija i robotskim politikama.
Također ulažemo u brže zaključivanje i učinkovitije post-treniranje na širem rasponu hardvera, smanjujući vrijeme i računalne resurse potrebne za izgradnju nizvodnih modela.
To uključuje optimizaciju Cosmos 3 kontrolnih točaka s otvorenim okvirima za zaključivanje i optimizaciju poput vLLM-a, s više optimizacija i programerskih alata koji dolaze uskoro.