Нейросетевой вокодер для преобразования спектрограмм на шкале мел в звуковую волну. Его можно использовать в собственном конвейере синтеза аудио.
Место вокодера в синтезе речи
BigVGAN преобразует числовое представление звука в звуковую волну. В примерах NVIDIA входом служит спектрограмма на шкале мел, которая описывает изменение частот во времени. Для синтеза из текста такую спектрограмму должен сначала получить другой компонент. Сам BigVGAN не читает сценарий и не выбирает слова. Его работа начинается там, где уже подготовлены числовые признаки совместимого формата.
Проверка на собственной записи
Для учебной пробы запишите две фразы с паузой и тихими шипящими. Рассчитайте спектрограмму по настройкам выбранных весов и восстановите звук. Проверьте, совпадают ли темп и длительность, а затем сравните начала согласных и концы слов. Если результат звучит выше или ниже исходника, сначала сверьте частоту дискретизации и параметры преобразования. Замена контрольной точки без такой проверки может добавить еще одну переменную.
Оставьте исходную запись рядом с обработанной и сравнивайте их на одинаковом уровне. Громкий вариант легко принять за более четкий даже при одинаковой разборчивости.
Подключение к своему конвейеру
У разработчика опубликованы примеры локального запуска и параметры разных контрольных точек. Если спектрограммы создает другая модель, заранее проверьте совместимость частоты, размера окна и числа полос в шкале мел. Для серии фрагментов закрепите эти параметры в одном месте и сохраните название контрольной точки. Так будет проще повторить результат при смене среды или видеокарты.
Для каких задач подходит
- Восстановить учебный звуковой фрагмент из спектрограммы
- Подключить вокодер к своему аудиоконвейеру
Сильные стороны
- Готовые контрольные точки с конфигурациями
- Официальный пример расчета спектрограммы и восстановления звука
Ограничения
- Необходима совместимая частота и параметры спектрограммы
- Для работы с текстом требуется отдельная модель перед вокодером
Выбор и условия
- Бесплатный режим
- Да
- Пробный период
- Не подтверждено
- Без регистрации
- Да
- Русский интерфейс
- Не подтверждено
- Локальная установка
- Да
- API
- Не подтверждено
«Не подтверждено» означает, что сведений недостаточно. Возможность может существовать; сверяйте условия разработчика.
- Исходные форматы
- Аудио
- Результат
- Аудио
Условия
Репозиторий NVIDIA содержит PyTorch реализацию, контрольные точки и пример обработки. Выберите веса с конфигурацией, совместимой с исходными данными.От задачи к первому результату
Практический пример
- Задача
- Восстановить учебный звуковой фрагмент из спектрограммы
- Что подготовить
- Короткая запись голоса и совместимая конфигурация для расчета спектрограммы на шкале мел.
Задание или запрос
Рассчитайте спектрограмму по параметрам модели и восстановите звук. Сравните шипящие и паузы с исходной записью.
Ожидаемый результат
Звуковая волна из спектрограммы с проверенной частотой дискретизации.
Как проверить результат
- Сверьте параметры преобразования и частоту записи.
- Послушайте переходы между тихими и громкими участками.
Редакционный учебный пример постановки задачи, а не результат личного тестирования сервиса. Проверьте доступность нужного режима, права на исходники и условия использования результата.
Проверить подробности
Официальные источники
Описание составлено по материалам разработчика. Возможности, цены и доступность могут меняться; перед использованием сверяйтесь с первоисточником.