NVIDIA-ina nova umjetna inteligencija simulira kirurške zahvate u stvarnom vremenu

Novi NVIDIA model, omogućuje interaktivnu generativnu simulaciju kirurških zahvata u stvarnom vremenu – na samo jednoj grafičkoj kartici.

Od kirurškog svjetskog modela do interaktivnog simulatora

Kirurška robotika ubrzano prelazi s teleoperacije na politike koje kombiniraju vid, jezik i akciju. No evaluacija i obuka ostaju teške. Fizički roboti su skupi, eksperimenti spori, a kvarovi oštećuju instrumente ili tkivo. Konvencionalni simulatori su sigurniji, ali kirurške scene – deformabilno tkivo, fine interakcije instrumenta, šavovi, igle, dim, okluzije – teško je modelirati.

Svjetski modeli temeljeni na umjetnoj inteligenciji nude drugačiji put: uče vizualnu dinamiku izravno iz videa i robotske kinematike. NVIDIA-in Cosmos-H-Surgical-Simulator demonstrirao je taj pristup generirajući budući kirurški video iz početne scene i niza akcija. Omogućio je bržu evaluaciju i generiranje sintetičkih podataka u ekosustavu Open-H-Embodiment.

Danas predstavljamo sljedeći korak: Cosmos-H-Dreams, generativni simulator u stvarnom vremenu, uvjetovan akcijama, za kiruršku robotiku. Destilira mogućnosti prethodnog modela u uzročni učenikov model s nekoliko koraka i poslužuje ga kroz FlashDreams, NVIDIA-inu ubrzanu biblioteku za strujanje zaključivanja. Na jednoj NVIDIA RTX PRO 6000 grafičkoj kartici rezultat je interaktivno okruženje koje osoba ili naučena politika mogu kontrolirati u zatvorenoj petlji.

Destilacija Cosmos-H-Surgical-Simulatora za stvarno vrijeme

Ključni izazov: očuvati kiruršku dinamiku uz smanjenje cijene generiranja. Cosmos-H-Dreams koristi cjevovod za obuku od učitelja do učenika, dizajniran za duge autoregresivne izlaze.

2.1. Kirurški učitelj

Dvosmjerni učitelj polazi od Cosmos-H-Surgical-Simulator Open-H kontrolne točke, koja koristi jedinstveni 44-dimenzionalni prikaz akcija. Za objavljeni model dVRK stolnog rada, dupli dVRK sadržaj akcija – relativni pomak krajnjeg aktuatora, rotacija, stanje hvataljke – preslikava se u taj prikaz.

Učitelj se zatim fino podešava na JHU dVRK stolnoj mješavini, uključujući uspješne demonstracije i epizode neuspjeha te izvan distribucije – ispuštanje igle, promašena bacanja, neuspješna vezanja čvorova. Neuspjesi su ključni: simulator za evaluaciju politika mora reproducirati posljedice loših akcija, ne samo idealne demonstracije.

Kako bi se poboljšala stabilnost tijekom dugih izlaza, proces obuke postupno povećava vremenski horizont učitelja – od 12 okvira do 72 okvira. Pri svakom povećanju, model se zagrijava s unaprijed treniranim težinama.

2.2. Uzročno zagrijavanje

Učiteljeve putanje uklanjanja šuma najprije se unaprijed izračunavaju i pohranjuju u predmemoriju. Uzročni učenik inicijalizira se iz učitelja i trenira da oponaša te putanje. Ova faza uči učenika rad s uzročnom pažnjom i streaming predmemorijom prije nego što počne učiti iz vlastite generirane povijesti.

2.3. Samonametnuta destilacija

Autoregresivni modeli imaju poznat problem: tijekom obuke vide čist kontekst, a tijekom primjene moraju uvjetovati vlastite nesavršene izlaze. Pogreške se s vremenom nakupljaju.

Cosmos-H-Dreams rješava to pomoću samonametnute destilacije (self-forcing distillation). Tijekom obuke učenik koristi vlastiti generirani kontekst. Nadzor usklađivanja distribucije od zamrznutog učitelja usmjerava te izlaze prema realističnom kirurškom videu. Time se učenik priprema za uvjete interaktivnog zaključivanja.

Rezultirajući model podržava uklanjanje šuma u nekoliko koraka – čak samo dva koraka po latentnom okviru – umjesto višestepenog procesa punog učitelja. Kombinira kirurške prioritete s uzročnom strukturom potrebnom za strujanje.

FlashDreams: Pogon za zaključivanje u stvarnom vremenu

Destilacija modela samo je dio priče. Cosmos-H-Dreams poslužuje se kroz FlashDreams, ubrzanu biblioteku za zaključivanje za autoregresivne svjetske i video modele.

FlashDreams pretvara destiliranog učenika u sustav za strujanje s niskim kašnjenjem – streaming KV predmemorija, snimanje CUDA grafa, kompilacija modela.

Zajedno, te tehnike dovode fino podešeni destilirani kirurški svjetski model s približno deset okvira u sekundi standardnog zaključivanja na interaktivnih otprilike 160 okvira u sekundi – na jednoj NVIDIA RTX PRO 6000.

Cosmos-H-Dreams pruža i sučelja čovjek-stroj koja generiranje pretvaraju u interakciju. Klijent u pregledniku šalje naredbe s tipkovnice i prima generirane okvire putem WebRTC-a. Meta Quest klijent preslikava praćeno kretanje kontrolera u robotske akcije i prikazuje sintetiziranu scenu putem WebXR-a. Isti model povezuje se s naučenom kirurškom politikom – generirana opažanja i predviđene akcije izmjenjuju se unutar zatvorene petlje.

Prilagodba vlastitim podacima

Cosmos-H-Dreams uključuje unaprijed treniranu kontrolnu točku za stolno šivanje, ali sustav je proširiv na vaš specifični oblik. Za obuku modela u stvarnom vremenu za vlastiti skup podataka nudimo potpuni recept za fino podešavanje učitelja i samonametnutu destilaciju u vodiču korak po korak.

Što je sljedeće: Prema kirurškoj fizičkoj umjetnoj inteligenciji zatvorene petlje

Cosmos-H-Dreams otvara novu granicu: okruženja naučena iz stvarnih robotskih podataka, dovoljno responzivna da budu naseljena.

Neposredni sljedeći korak je evaluacija više od vizualne kvalitete. Koristan kirurški simulator mora ispravno reagirati na akcije, očuvati strukturu instrumenata i scena tijekom dugih izlaza te podržati zaključke koji se prenose na fizičkog robota. To motivira novu obitelj mjerila zatvorene petlje: točnost dosega i položaja vrha alata, vjernost ciklusa hvataljke, stabilnost u mirovanju, raznolikost protučinjeničnih akcija, dugoročni drift i slaganje između simuliranih i stvarnih ishoda politika.

Svjetski modeli u stvarnom vremenu mogu postati aktivni partneri u razvoju kirurških politika: generirati rijetke neuspjehe na zahtjev, pružiti skalabilna okruženja za učenje s potkrepljenjem ili imitacijom te omogućiti brzu evaluaciju bez vezivanja svakog eksperimenta za rijetki robotski hardver.

Dalje, simulacija u stvarnom vremenu omogućuje telekirurgiju osviještenu o kašnjenju – svjetski model pomaže održati stabilniji prikaz – te interaktivne kirurške probe, planiranje zahvata i intraoperativnu podršku pri odlučivanju. Cosmos-H-Dreams je istraživačka i razvojna platforma, a ne dijagnostički sustav, zamjena za intraoperativno snimanje ili upravljač fizičkog kirurškog robota. Ipak, pruža temelj za sigurno istraživanje tih mogućnosti.

Kako se vjernost modela, vremenska stabilnost i hardverska učinkovitost nastavljaju poboljšavati, generativna simulacija u stvarnom vremenu može povezati edukaciju kirurga, generiranje sintetičkih podataka, obuku politika i evaluaciju politika unutar jednog zajedničkog okruženja fizičke umjetne inteligencije.

Počnite danas

Istražite modele, podatke i izvođenje:

• Cosmos-H-Dreams kod i primjeri: GitHub repozitorij
• Cosmos-H-Dreams model: Hugging Face kontrolna točka
• Cosmos-H-Surgical-Simulator: Hugging Face model i GitHub repozitorij
• Prilagodite vlastitim podacima: recept korak po korak za fino podešavanje učitelja i samonametnutu destilaciju
• Open-H-Embodiment: Hugging Face skup podataka
• FlashDreams: GitHub repozitorij
• NVIDIA Cosmos-Predict2.5: GitHub repozitorij
• Cosmos-Surg-dVRK: World Foundation Model-based Automated Online Evaluation of Surgical Robot Policy Learning (arXiv rad)