Исследовательский проект NVIDIA для обучения нейронных полей. Включает режим NeRF, код и средства просмотра.
Что именно обучает Instant NGP
В режиме NeRF проект NVIDIA строит поле, которое описывает цвет и плотность сцены для разных направлений взгляда. Вход включает фотографии и положение камеры для каждого изображения. Отличие работы Instant NGP связано со способом кодировать координаты и ускорять вычисления на графическом процессоре. Репозиторий включает и другие задачи, например представление изображения сетью. Для проверки трехмерной сцены нужен режим NeRF.
Проверка новой точки обзора
Начните с разрешенного набора снимков деревянного стула. Если используете собственную съемку, обойдите предмет и следите за перекрытием кадров. После вычисления положений камер проверьте, что они располагаются вокруг стула в ожидаемом порядке. Обучите небольшую сцену и измените ракурс в просмотрщике. Посмотрите сквозь промежуток между ножками и вдоль тонкой кромки сиденья. Ошибки в положениях камер часто проявляются именно на таких переходах.
Запишите параметры первой попытки. При повторе можно изменить один параметр и понять, что произошло с детализацией и расходом памяти.
Условия воспроизводимого запуска
Официальный репозиторий описывает сборку, требования CUDA и форматы данных. На другой машине скорость и доступные размеры сцены могут отличаться. Сохраняйте версию кода вместе с настройками и исходными ракурсами. Для передачи коллеге заранее уточните, нужен ли интерактивный просмотр или готовый рендер. Один вариант легче осматривать, второй проще встроить в видео.
Для каких задач подходит
- Обучить представление своего предмета по серии ракурсов
- Сравнить визуальное качество при двух настройках памяти
Сильные стороны
- Исследовательский код с интерактивным просмотром
- Поддержка нескольких классов нейронных представлений
Ограничения
- Потребуется окружение NVIDIA CUDA
- Результат зависит от корректности поз камер
Выбор и условия
- Бесплатный режим
- Да
- Пробный период
- Не подтверждено
- Без регистрации
- Не подтверждено
- Русский интерфейс
- Не подтверждено
- Локальная установка
- Да
- API
- Не подтверждено
«Не подтверждено» означает, что сведений недостаточно. Возможность может существовать; сверяйте условия разработчика.
- Исходные форматы
- Изображение
- Результат
- 3D-сцена
Условия
Для локальной сборки нужны совместимая видеокарта NVIDIA и окружение из репозитория. Поддерживаемые варианты запуска описаны в инструкции.От задачи к первому результату
Практический пример
- Задача
- Обучить представление своего предмета по серии ракурсов
- Что подготовить
- Свои последовательные фотографии одной статичной сцены, снятой с перекрытием ракурсов.
Задание или запрос
Восстановите сцену по фотографиям и осмотрите ее с нового ракурса. Оставьте часть исходных видов для сравнения.
Ожидаемый результат
Сцена, которую можно осмотреть в просмотрщике.
Как проверить результат
- Сравните несколько ракурсов с контрольными снимками.
- Отметьте разрывы, прозрачные области и края вне зоны съемки.
Редакционный учебный пример постановки задачи, а не результат личного тестирования сервиса. Проверьте доступность нужного режима, права на исходники и условия использования результата.
Проверить подробности
Официальные источники
Описание составлено по материалам разработчика. Возможности, цены и доступность могут меняться; перед использованием сверяйтесь с первоисточником.
