Семейство моделей для синтеза диалогов. Dia2 поддерживает потоковый режим вывода и работает с английским текстом.
Две роли в одном отрывке
Dia создает аудио диалога из сценария с обозначенными говорящими. В Dia2 разработчик описывает потоковую генерацию, которая выдает звук по мере вычислений. Доступные веса рассчитаны на английский и имеют ограничение по длительности. Для первого запуска возьмите короткий разговор, чтобы быстрее оценить смену ролей и убедиться, что соблюдается формат текста из репозитория.
Проба учебного диалога
Вымышленный посетитель спрашивает, когда открывается мастерская. Второй голос коротко отвечает и добавляет, через какую дверь войти. Сначала подготовьте по одной фразе для каждой роли. Прослушайте, различимы ли участники по тембру и слышна ли естественная пауза между ними. Если модель сливает ответ с вопросом, сократите формулировку и проверьте разметку ролей. Для сравнения сохраните удачную версию сценария и параметры.
Когда диалог используется как временная озвучка, проверьте, укладывается ли он в отведенное время. Скорость звучания может измениться после новой генерации.
Среда и исходные записи
Разработчик публикует требования к CUDA и модели разного размера. Начните с окружения, которое указано для выбранных весов. Отдельно проверьте права на голосовые примеры, если используете аудиоконтекст. Сохраняйте выходной файл и текст вместе. Так проще сверить реплики и заметить слова, которые звучат иначе, чем в исходном сценарии. Сверьте названия ролей с метками в примере разработчика.
Для каких задач подходит
- Подготовить пробный диалог для сцены
- Проверить озвучку последовательности реплик
Сильные стороны
- Потоковая генерация Dia2
- Раздельная маркировка говорящих в тексте
Ограничения
- Dia2 рассчитана на короткую английскую речь
- Для локального запуска требуется подходящий графический процессор
Выбор и условия
- Бесплатный режим
- Да
- Пробный период
- Не подтверждено
- Без регистрации
- Не подтверждено
- Русский интерфейс
- Не подтверждено
- Локальная установка
- Да
- API
- Не подтверждено
«Не подтверждено» означает, что сведений недостаточно. Возможность может существовать; сверяйте условия разработчика.
- Исходные форматы
- Текст
- Результат
- Аудио
Условия
Для Dia2 разработчик публикует код и контрольные веса. Требования к CUDA и окружению указаны в репозитории.От задачи к первому результату
Практический пример
- Задача
- Подготовить пробный диалог для сцены
- Что подготовить
- Короткий вымышленный диалог на английском с двумя явно обозначенными участниками.
Задание или запрос
Speaker one asks when the repair shop opens. Speaker two answers that it opens at nine. Keep both lines short and preserve the pause.
Ожидаемый результат
Черновое аудио двух реплик для прослушивания.
Как проверить результат
- Различите голоса и сверьте смену говорящего с текстом.
- Проверьте произношение, длительность пауз и права на голосовые примеры.
Редакционный учебный пример постановки задачи, а не результат личного тестирования сервиса. Проверьте доступность нужного режима, права на исходники и условия использования результата.
Проверить подробности
Официальные источники
Описание составлено по материалам разработчика. Возможности, цены и доступность могут меняться; перед использованием сверяйтесь с первоисточником.
