NVIDIA istraživanje oblikuje fizički AI

Fizički AI — pokretač iza moderne robotike, samovozećih automobila i pametnih prostora — oslanja se na kombinaciju neuralnih grafika, generiranja sintetičkih podataka, simulacije temeljene na fizici, učenja s pojačavanjem i AI rezoniranja. To je kombinacija koja dobro odgovara zajedničkoj stručnosti NVIDIA istraživanja, globalnog tima koji je gotovo 20 godina unapređivao sada konvergirajuća područja AI-a i grafike.

Zato će na SIGGRAPH-u, vodećoj konferenciji o računalnoj grafici koja se održava u Vancouveru do četvrtka, 14. kolovoza, čelnici NVIDIA istraživanja održati posebno obraćanje ističući inovacije u grafici i simulaciji koje omogućuju fizički i prostorni AI.

“AI unapređuje naše sposobnosti simulacije, a naše sposobnosti simulacije unapređuju AI sustave,” rekla je Sanja Fidler, potpredsjednica za AI istraživanje u NVIDIA-i. “Postoji autentično i snažno povezivanje između dva područja, i to je kombinacija koju rijetki imaju.”

Na SIGGRAPH-u, NVIDIA predstavlja nove softverske biblioteke za fizički AI — uključujući NVIDIA Omniverse NuRec 3D Gaussian splatting biblioteke za rekonstrukciju svijeta velikih razmjera, nadogradnje za NVIDIA Metropolis platformu za vizijski AI kao i NVIDIA Cosmos i NVIDIA Nemotron modele za rezoniranje. Cosmos Reason je novi model rezoniranja vizualnog jezika za fizički AI koji omogućuje robotima i vizijskim AI agentima da rezoniraju poput ljudi koristeći prethodno znanje, razumijevanje fizike i zdrav razum.

Mnoge od ovih inovacija ukorijenjene su u probojima globalnog istraživačkog tima tvrtke, koji predstavlja više od dvanaest radova na događaju o napretcima u neuralnom renderiranju, praćenju putanje u stvarnom vremenu, generiranju sintetičkih podataka i učenju s pojačavanjem — mogućnostima koje će hraniti sljedeću generaciju alata za fizički AI.

Kako fizički AI ujedinjuje grafiku, AI i robotiku

Razvoj fizičkog AI-a počinje izgradnjom visoko vjernih, fizički preciznih 3D okruženja. Bez ovih vjerodostojnih virtualnih okruženja, razvojni programeri ne mogu trenirati napredne sustave fizičkog AI-a poput humanoidnih robota u simulaciji, jer se vještine koje bi roboti naučili u virtualnom treningu ne bi dovoljno dobro prenosile u stvarni svijet.

Zamislite poljoprivrednog robota koji koristi točno određenu količinu pritiska za branje bresaka s drveća bez da ih ošteti, ili proizvodnog robota koji sastavlja mikroskopske elektroničke komponente na stroju gdje je svaki milimetar važan.

“Fizički AI treba virtualno okruženje koje se osjeća stvarnim, paralelni svemir gdje roboti mogu sigurno učiti kroz pokušaje i pogreške,” rekao je Ming-Yu Liu, potpredsjednik za istraživanje u NVIDIA-i. “Za izgradnju ovog virtualnog svijeta, trebamo renderiranje u stvarnom vremenu, računalni vid, simulaciju fizičkog kretanja, 2D i 3D generativni AI, kao i AI rezoniranje. To su stvari u kojima je NVIDIA istraživanje provelo gotovo dva desetljeća da bi bilo dobro.”

NVIDIA-ino naslijeđe probojnog istraživanja u praćenju zraka i računalnoj grafici u stvarnom vremenu, koje datira od osnivanja istraživačke organizacije 2006. godine, igra ključnu ulogu u omogućavanju realizma kojeg zahtijevaju simulacije fizičkog AI-a. Velik dio tog renderiranja, također, pokreću AI modeli — područje poznato kao neuralno renderiranje.

“Naše temeljno istraživanje renderiranja potiče stvaranje virtualnih svjetova vjernih stvarnosti koji se koriste za treniranje naprednih sustava fizičkog AI-a, dok AI zauzvrat pomaže stvarati te 3D svjetove iz slika,” rekao je Aaron Lefohn, potpredsjednik za istraživanje grafike i voditelj grupe za istraživanje grafike u stvarnom vremenu u NVIDIA-i. “Sada smo na točki gdje možemo uzeti slike i videozapise — pristupačan oblik medija koji svatko može snimiti — i brzo ih rekonstruirati u virtualna 3D okruženja.”

Ovaj temeljni rad u naprednom renderiranju (transformiranje 3D u 2D) i inverznom renderiranju (pretvaranje 2D u 3D) dopunjen je godinama istraživanja i tehnoloških inovacija u simuliranju fizičkog kretanja, uključujući rad Fidlerinog Laboratorija za prostornu inteligenciju. Laboratorij je danas predstavio ViPE (Video Pose Engine), 3D geometrijsku anotacijsku liniju za videozapise razvijenu u suradnji s Laboratorijem za dinamički vid i NVIDIA Isaac timom koja procjenjuje kretanje kamere i generira detaljne karte dubine na temelju snimaka iz amaterskih snimanja, kamera na kontrolnim pločama ili kinematografskih snimaka.

U generativnom AI-u, Liuova istraživačka grupa Deep Imagination jedna je od NVIDIA istraživačkih timova koja predvodi modele računalnog vida, transformatora i vizualnog generativnog AI-a koji omogućuju sustavima fizičkog AI-a da razumiju i predvide buduća stanja svijeta — poput mogućih ishoda kada automobil prođe kroz crveno svjetlo ili kada je čaša preblizu ruba stola.

Ove inicijative postavile su temelje za NVIDIA Cosmos, platformu predstavljenu ranije ove godine za ubrzanje razvoja fizičkog AI-a s temeljnim modelima svijeta, bibliotekama za obradu nakon treniranja i ubrzanom linijom za obradu i kuriranje podataka.

NVIDIA istraživanje na SIGGRAPH-u

NVIDIA istraživači predstavljaju na SIGGRAPH-u napretke u simulaciji, renderiranju pogonjenom AI-em i generiranju 3D sadržaja s potencijalnim primjenama u stvaranju virtualnih svjetova, razvoju robotike i treniranju autonomnih vozila.

Jedan rad bavi se izazovom rekonstruiranja 3D geometrije svjesne fizike iz 2D slika ili videa. Dok mnogi modeli mogu procijeniti 3D objekt na temelju video snimke, generiranom 3D obliku često nedostaje strukturna stabilnost. Čak i ako je blizak vizualni pandan stvarnom objektu, generirani oblik može imati blago nejednake proporcije ili nedostajuće detalje koji utječu na njegov fizički realizam.

Na primjer, 3D simulacija stolice izgrađena iz 2D snimke mogla bi se srušiti kada se spusti u fizički preciznu simulaciju jer AI model stvara vizualne procjene 3D strukture, a ne mjerenja stvarnog stanja. Metoda predstavljena u ovom radu pomaže osigurati da generirani 3D oblici repliciraju fiziku stvarnog svijeta kako bi se izbjegla ova zamka — podržavajući stvaranje virtualnih svjetova za treniranje fizičkog AI-a.

Drugi rad predstavlja tehniku za oživljavanje simuliranih likova s fizički preciznim kretanjem. Istraživači su kombinirali generator pokreta s kontrolerom praćenja temeljenim na fizici kako bi generirali realistične sintetičke podatke za složene pokrete, poput akrobacija parkour praktikanata.

Ovi podaci mogu pomoći u razvoju virtualnih likova ili treniranju humanoidnih robota stvarnog svijeta s okretnim motoričkim vještinama koje se rijetko nalaze u podacima za treniranje iz stvarnog svijeta, proširujući moguće fizičke pothvate koje bi roboti mogli postići na zadatke poput prelaska teškog terena za podršku hitnim intervencijama.

Dodatni radovi bave se složenošću simuliranja svjetla i materijala.

Jedan projekt pokazuje kako umjetnici mogu stvoriti AI asistente za poboljšanje detalja materijala. Koristi difuzijske modele i diferencijabilni renderer temeljen na fizici kako bi stvarateljima dao jednostavan način za modificiranje teksturnih mapa materijala na vrhu 3D prikaza objekta, omogućujući im stvaranje bogatijih, realističnijih virtualnih svjetova koristeći jednostavne tekstualne upute.

Tim je demonstrirao kako se model može koristiti za brzo dodavanje realističnih detalja objektima, poput znakova vremenskih uvjeta ili starenja, koje je vremenski zahtjevno stvoriti koristeći tradicionalne metode renderiranja. Ovi objekti mogu popuniti virtualna okruženja koja se koriste za kreativne primjene poput igara ili za fizičke primjene poput treniranja robota i autonomnih vozila u simulaciji.

U području simulacije svjetla, drugi SIGGRAPH rad bavi se izazovom u diferencijabilnom renderiranju, predstavljajući robusni diferencijabilni upit vidljivosti koji omogućuje bržu, precizniju rekonstrukciju 3D geometrije iz slika i videozapisa.

Ovaj rad je primjer NVIDIA istraživanja koje povezuje napredno renderiranje i inverzno renderiranje, brzo izvlačeći parametre iz virtualnih svjetova koji su ključni za precizno treniranje modela fizičkog AI-a na sintetičkim skupovima podataka.

Pogledajte posebno obraćanje Fidler, Lefohna i Liua na SIGGRAPH-u i saznajte više o tome kako se inovacije u grafici i simulaciji udružuju za pokretanje industrijske digitalizacije pridruživši se NVIDIA-i na konferenciji, koja je trajala do četvrtka, 14. kolovoza.