Модель семейства AudioCraft для создания музыкальных фрагментов по описанию. Варианты Melody дополнительно учитывают мелодический ориентир.
Где пригодится музыкальный эскиз
MusicGen генерирует звуковой фрагмент по текстовому описанию. С помощью вариантов Melody можно добавить музыкальный ориентир, например собственную простую мелодию. В документации AudioCraft для этих двух режимов приведены разные вызовы. Перед началом решите, что важнее для черновика, заданный характер звучания или узнаваемый контур вашего мотива. У модели нет дорожек, которые можно отдельно отредактировать как партию баса или ударных.
Заставка для учебного ролика
Для короткого ролика о работе с деревом попробуйте описать негромкое сопровождение с мягкими клавишами и редкими ударами перкуссии. Сохраните несколько вариантов и послушайте их под началом ролика, где звучит голос. Если сопровождение занимает те же частоты, что и речь, смените вариант или обработайте звук в редакторе. Для мелодического режима можно записать собственный мотив и сравнить, какие его особенности остались слышны.
Проверьте и последний такт. При циклическом повторе переход выдает себя, если на стыке внезапно появляется новый акцент или обрывается длинная нота.
Код и веса имеют разные условия
Meta отдельно указывает лицензию кода и лицензию весов. Для учебной локальной пробы проверьте установку AudioCraft и доступную память, а перед выпуском сверяйте разрешенные способы использования конкретных весов. Выбирать фрагмент для коммерческого ролика только по тому, что код доступен публично, рискованно. Оценку результата лучше делать в самой монтажной последовательности, где слышно соотношение голоса, музыки и других звуков.
Для каких задач подходит
- Получить музыкальный эскиз под монтаж
- Оценить сопровождение с собственным мотивом
Сильные стороны
- Генерация по описанию жанра и состава инструментов
- Отдельные версии с мелодическим ориентиром
Ограничения
- Опубликованные веса имеют некоммерческую лицензию
- Сгенерированный фрагмент требует музыкального монтажа
Выбор и условия
- Бесплатный режим
- Да
- Пробный период
- Не подтверждено
- Без регистрации
- Не подтверждено
- Русский интерфейс
- Не подтверждено
- Локальная установка
- Да
- API
- Не подтверждено
«Не подтверждено» означает, что сведений недостаточно. Возможность может существовать; сверяйте условия разработчика.
- Исходные форматы
- Текст, Аудио
- Результат
- Аудио
Условия
Код и веса доступны в AudioCraft. Примеры локального запуска описаны для Python и PyTorch, требования зависят от выбранной версии модели.От задачи к первому результату
Практический пример
- Задача
- Получить музыкальный эскиз под монтаж
- Что подготовить
- Свой текст или описание музыкального фрагмента без подражания конкретному исполнителю.
Задание или запрос
Спокойная инструментальная композиция для заставки мастерской: мягкие клавишные, негромкая перкуссия, тёплое настроение, без вокала и узнаваемых чужих мелодий.
Ожидаемый результат
Музыкальный эскиз, который нужно прослушать и проверить по условиям использования сервиса.
Как проверить результат
- Проверьте начало, конец и переходы.
- Не считайте бесплатную генерацию разрешением на коммерческий выпуск.
Редакционный учебный пример постановки задачи, а не результат личного тестирования сервиса. Проверьте доступность нужного режима, права на исходники и условия использования результата.
Проверить подробности
Официальные источники
- Руководство MusicGen и перечень версий
- Код AudioCraft и условия для кода и весов
- Описание семейства AudioCraft от Meta
Описание составлено по материалам разработчика. Возможности, цены и доступность могут меняться; перед использованием сверяйтесь с первоисточником.
