Forschungsprojekt von NVIDIA zum Training neuronaler Felder mit NeRF-Modus, Quellcode und Viewer.
Was Instant NGP trainiert
Im NeRF-Modus erzeugt das NVIDIA-Projekt ein Feld, das Farbe und Dichte einer Szene aus verschiedenen Blickrichtungen beschreibt. Als Eingabe dienen Fotos und die Kameraposition zu jedem Bild. Instant NGP verwendet eine besondere Kodierung der Koordinaten, um die Berechnungen auf der GPU zu beschleunigen. Das Repository enthält auch andere Anwendungsfälle, etwa die Darstellung eines Bildes durch ein neuronales Netz. Wählen Sie für die Prüfung einer dreidimensionalen Szene den NeRF-Modus.
Einen neuen Blickwinkel prüfen
Beginnen Sie mit dem erlaubten Satz von Bildern eines Holzstuhls. Wenn Sie Ihre eigene Aufnahme verwenden, gehen Sie um das Objekt herum und achten Sie darauf, dass die Bilder überlappen. Überprüfen Sie nach der Berechnung der Position der Kameras, ob sie sich in der erwarteten Reihenfolge um den Stuhl befinden. Trainieren Sie eine kleine Szene und ändern Sie den Blickwinkel im Betrachter. Schauen Sie durch die Lücke zwischen den Beinen und entlang der dünnen Kante des Sitzes. Fehler in den Positionen der Kameras manifestieren sich oft bei solchen Übergängen.
Notieren Sie sich die Parameter des ersten Versuchs. Wenn Sie wiederholen, können Sie einen Parameter ändern und verstehen, was mit den Details und dem Speicherverbrauch passiert ist.
Einen Lauf reproduzierbar machen
Das offizielle Repository beschreibt die Montage, CUDA-Anforderungen und Datenformate. Bei einem anderen Auto können die Geschwindigkeit und die verfügbaren Szenengrößen variieren. Speichern Sie die Code-Version zusammen mit den Einstellungen und den ursprünglichen Winkeln. Für die Übertragung an einen Kollegen im Voraus klären, ob Sie eine interaktive Ansicht oder ein fertiges Rendering benötigen. Eine Option ist einfacher zu sehen, die zweite ist einfacher in das Video einzubetten.
Für welche Aufgaben geeignet
- Trainieren Sie die Präsentation Ihres Themas aus einer Reihe von Blickwinkeln
- Vergleichen Sie die visuelle Qualität mit zwei Speichereinstellungen
Stärken
- Forschungscode mit interaktiver Ansicht
- Unterstützt mehrere Klassen neuronaler Darstellungen
Einschränkungen
- Benötigt eine NVIDIA CUDA-Umgebung
- Das Ergebnis hängt von der Korrektheit der Kameras ab
Auswahl und Bedingungen
- Kostenlose Nutzung
- Ja
- Testphase
- Nicht bestätigt
- Keine Registrierung erforderlich
- Nicht bestätigt
- Russische Benutzeroberfläche
- Nicht bestätigt
- Lokale Installation
- Ja
- API
- Nicht bestätigt
„Nicht bestätigt“ bedeutet, dass nicht genügend Informationen vorliegen. Die Funktion kann dennoch verfügbar sein; prüfen Sie die Angaben des Entwicklers.
- Eingabeformate
- Bild
- Ergebnis
- 3D-Szene
Bedingungen
Für die lokale Zusammenstellung sind eine kompatible NVIDIA-Grafikkarte und eine Umgebung aus dem Repository erforderlich. Die unterstützten Startoptionen sind in der Anleitung beschrieben.Von der Aufgabe zum ersten Ergebnis
Praxisbeispiel
- Aufgabe
- Trainieren Sie die Präsentation Ihres Themas aus einer Reihe von Blickwinkeln
- Was Sie vorbereiten sollten
- Seine aufeinanderfolgenden Fotos einer statischen Szene, die mit überlappenden Winkeln aufgenommen wurde.
Aufgabenbeschreibung oder Prompt
Stellen Sie die Szene auf den Fotos wieder her und erkunden Sie sie aus einer neuen Perspektive. Lassen Sie einen Teil der ursprünglichen Arten zum Vergleich.
Erwartetes Ergebnis
Eine Szene, die man im Betrachter sehen kann.
So prüfen Sie das Ergebnis
- Vergleichen Sie mehrere Blickwinkel mit den Kontrollbildern.
- Markieren Sie Lücken, transparente Bereiche und Kanten außerhalb des Aufnahmebereichs.
Ein redaktionelles Lernbeispiel für eine Aufgabenbeschreibung, kein Ergebnis eines eigenen Praxistests des Dienstes. Prüfen Sie die Verfügbarkeit des benötigten Modus, die Rechte am Ausgangsmaterial und die Bedingungen für die Nutzung des Ergebnisses.
Details überprüfen
Offizielle Quellen
Die Beschreibung basiert auf den Materialien des Entwicklers. Die Funktionen, Preise und Verfügbarkeit können variieren. Bitte überprüfen Sie die Quelle vor der Verwendung.
