Jedes 2D-Bild kann in ein 3D-Modell rekonstruiert werden! Nvidia startet Ganverse3D.

Von dem 12. bis 16. April 2021 hielt Nvidia eine 5-tägige jährliche GTC-Konferenz an, um den Durchbruch von Nvidia in AI, Rechenzentren, beschleunigte Rechenrechnung, intelligente Gesundheitswesen, intelligente Netzwerke und Spielentwicklung zu teilen. Die Öffentlichkeit erkunden die fortschrittlichen Technologien, die die heutige Industrie verändern.

NVIDIA kündigte am 16. April an, dass das Toronto-Forschungslabor des Unternehmens GANVERSE3D erfolgreich entwickelt hat. Wenn Sie als Erweiterung der NVIDIA-Omniverse-Plattform importiert und auf der NVIDI ArtX GPU ausgeführt werden, kann Ganverse3D jedes 2D-Bild in ein realistisches 3D-Modell rekonstruieren.

Ganverse3D zufolge kann Ganverse3D Architekten, Erstellern, Spielentwickler und Designern Komfort bieten, sodass sie ihren physischen Modellen leicht neue Objekte hinzufügen können, ohne dass 3D-Modellierungskompetenz erforderlich sind. Sie müssen nicht viel Budget auf Rendering verbringen. Beispielsweise kann ein einzelnes Autofoto in ein 3D-Modell umgewandelt werden, das in einer virtuellen Szene mit realistischen Scheinwerfern, Rücklicht und Blinker angetrieben werden kann.

Es wird berichtet, dass Forscher, um Trainingsdatensätze zu generieren, generative gängige Netzwerke-GAN verwenden, um Bilder zu synthetisieren, die das gleiche Objekt von mehreren Winkeln darstellen - wie ein Fotograf, der um ein geparktes Auto herumlaufen und aus verschiedenen Winkeln schießt. Diese Multi-View-Bilder werden in das Rendering-Framework der inversen Grafiken eingefügt, dh der Prozess des Instruments des 3D-Mesh-Modells aus den 2D-Bildern.

Sobald das Multi-View-Image-Training abgeschlossen ist, benötigt GANVERSE3D nur ein 2D-Bild, um das 3D-Mesh-Modell vorherzusagen. Das Modell kann mit dem 3D neuronalen Renderer verwendet werden, sodass Entwickler Objekte anpassen und Hintergründe anpassen können.

Ganverse3d kann 3D-Objekte ohne Hilfe von 3D-Elementen erstellen. Wenzheng Chen, ein Forschungswissenschaftler bei Nvidia und der Lead-Autor des Projekts, sagte: "Wir haben das GAN-Modell in einen sehr effizienten Datengenerator gedreht, damit wir 3D-Objekte auf Basis von 2D-Bild im Netzwerk erstellen können."

Darüber hinaus wies der Autor des Projekts und des NVIDIA-Forschers Jun Gao darauf hin, da wir, weil wir, weil wir auf echten Bildern und nicht synthetische Daten basieren, AI-Modelle, die AI-Modelle, auf reale Anwendungen besser erweitert werden können.

Erstellen Sie eine reichere virtuelle Welt

Schöpfer in den Bereichen Spiele, Architektur und Design verlassen sich auf virtuelle Umgebungen, beispielsweise auf der NVIDIA Omniverse-Simulation und der Collaboration-Plattform, um neue Ideen zu testen und Prototypen vorzusehen, bevor er das Endprodukt erstellt hat. Mit Omniverse-Anschlüssen können Entwickler ihre bevorzugten 3D-Anwendungen in Omniverse verwenden, um komplexe virtuelle Welten durch Echtzeitrestverfolgung zu simulieren.

Laut NVIDIA hat nicht jeder Creator die Zeit und Ressourcen, um ein 3D-Modell jedes Objekts zu erstellen, das sie zeichnen. Wenn Sie ein Auto in einer Ausstellungshalle oder eines Gebäudes in einer Straße rendern, ist es notwendig, die erforderliche Anzahl von Multi-View-Bildern zu erfassen, die viele Kosten verursachen. Daraufhin kann die ausgebildete Ganverse3D-Anwendung verwendet werden, um Standardbilder von Autos, Gebäuden oder sogar einem Pferd in 3D-Grafiken umzuwandeln, die in Omniverse angepasst und animiert werden können.

Um den Kitt zu rekonstruieren, müssen die Forscher nur das Bild des Autos in das ausgebildete Modell eingeben und Ganverse3d das entsprechende 3D-Textur-Gitter und verschiedene Teile des Fahrzeugs vorhersagen lassen, z. B. die Räder und Scheinwerfer. Dann benutzten sie das NVIDIA Omniverse-Kit und die NVIDIA-Physx-Tools, um die vorhergesagten Texturen in hochwertige Materialien umzuwandeln, wodurch Kitt ein realistischerer Look und fühlt sich an und legte es in die dynamische Fahrsequenz zusammen mit anderen Autos.

Nvidia Deep Learning Engineer Jean-Francois Lafreche sagte: "Omniverse ermöglicht es Forschern, aufregende innovative Forschung direkt an Schöpfer und Endbenutzer mitzuteilen. Als Erweiterung von Omniverse wird Ganverse3D Künstler helfen, neue Spiele, Planstädte zu entwickeln und sogar zu trainieren Eins. Maschinenlernen-Modelle erstellen eine reiche virtuelle Welt. "

Der vielversprechende "Gan"

Nvidia hat darauf hingewiesen, dass da es nur wenige echte Datensätze gibt, die dasselbe Objekt aus verschiedenen Winkeln erfassen, die meisten AI-Tools, die Bilder von 2D in 3D konvertieren, mit synthetischen 3D-Datensätzen wie ShapeNet ausgebildet werden.

Um Multi-View-Bilder von Real-World-Daten zu erhalten, wie z. B. im Internet veröffentlichte Autobilder, wandten sich NVIDIA-Forscher an das GAN-Modell, das seine neuronale Netzwerkschicht modifizierte und in einen Datengenerator umgewandelt wurde.

Das Team stellte fest, dass nur die ersten 4 Schichten des neuronalen Netzwerks trainiert und die Parameter der verbleibenden 12 Ebenen einfrieren können, ermöglicht GAN, Bilder desselben Objekts aus verschiedenen Winkeln zu rendern.

Halten Sie die Parameter der ersten 4-Schichten eingefroren, und die anderen 12 Schichten sind variabel, sodass das neuronale Netzwerk verschiedene Bilder basierend auf demselben Winkel erzeugt. Durch manuelles Zuweisen von Standardwinkeln und Fotiken von Fahrzeugen in bestimmten Höhen und Entfernungen können Forscher schnell mehrere Ansichtsdatensätze aus einem einzelnen 2D-Bild generieren.

Das endgültige Modell, das auf 55.000 von GAN erzeugten Autobildern ausgebildet ist, ist besser als das inverse Graphennetz, das auf dem beliebten Pascal3D-Datensatz ausgebildet ist.

Zusammenfassung: Nvidia ist 28 Jahre vom "Big Graphics Card Hersteller" bis zum "AI Overlord" durchlaufen. In dieser Zeit können wir uns immer die neueste Technologie und Überraschungen bringen. Die von NVIDIA eingeführte GANVERSERE3D basiert auf GAN, die jedes 2D-Bild in ein realistisches 3D-Modell rekonstruieren kann, um das Crime-Fighting-Auto KITT zu ermöglichen, das der Ritterreiter-TV-Show in den 1980er Jahren ähnelt. In der Ära der 3D-Prävalenz wird Ganverse3D sehr nützlich sein.