Canonical: https://instain.ru/ai/sesame-csm/
Language: ru

Sesame  модель

# Sesame CSM. 

Генерация речи с контекстом предыдущих реплик

4.13 / 5    [Оценка каталога](https://instain.ru/ai/sesame-csm/#editorial-rating) [Официальный сайт ](https://github.com/SesameAILabs/csm)

Исследовательская модель синтеза речи. При генерации следующей реплики может учитывать текст и аудио предыдущих.

![Sesame CSM. Статья Sesame о разработке модели разговорной речи.](https://instain.ru/assets/images/sesame-csm-screen-69ab167a3bdf-1200.webp)

Статья Sesame о разработке модели разговорной речи.  [Открыть источник ](https://www.sesame.com/journal/crossing-the-uncanny-valley-of-voice)

## Речь с учетом предыдущего фрагмента

CSM получает текст будущей реплики и может учитывать предыдущие фрагменты разговора. В открытом примере разработчика контекст включает текст и аудио уже произнесенных фраз. Это позволяет изучить, как меняется звучание при одинаковых словах и разном окружении. Публичная модель относится к синтезу речи. Содержание ответа для эксперимента готовит сам пользователь.

## Один ответ в двух ситуациях

Для учебной сцены придумайте английскую фразу о том, что дверь открыта. В первом варианте перед ней звучит спокойный вопрос. Во втором персонаж торопится и уточняет, можно ли войти сейчас. Запишите контекст собственным голосом с разрешением участников. Сгенерируйте одинаковую фразу в обоих случаях и сравните длительность, ударения и переход к началу речи. Интонация должна подходить сцене, а слова оставаться разборчивыми.

Чтобы понять вклад контекста, оставьте один вариант без предыдущей реплики и прослушайте его рядом с остальными.

## Границы исследовательского выпуска

Sesame указывает, что другие языки могут работать хуже английского. Перед интеграцией проверьте пример на своем устройстве и оцените объем памяти. Для демонстрации соберите искусственный сценарий и используйте только разрешенные записи. Не переносите на модель свойства всего голосового продукта Sesame. Репозиторий описывает самостоятельную модель и условия ее допустимого применения. Сохраняйте контекст отдельно для каждой попытки, чтобы сравнение можно было повторить.

## Для каких задач подходит

- Проверить влияние предыдущей реплики на интонацию

- Подготовить аудио короткого учебного диалога

Возможности 

## Сильные стороны

- Можно задать предыдущие реплики как контекст

- Опубликованы веса и пример запуска

Стоит учитывать 

## Ограничения

- Основной язык английский

- Использовать голос реального человека можно только с согласием

## Выбор и условия

Бесплатный режим

Да

Пробный период

Не подтверждено

Без регистрации

Не подтверждено

Русский интерфейс

Не подтверждено

Локальная установка

Да

API

Не подтверждено

«Не подтверждено» означает, что сведений недостаточно. Возможность может существовать; сверяйте условия разработчика.

Исходные форматы

Текст, Аудио

Результат

Аудио

### Условия

Для самостоятельного запуска используйте опубликованные веса и пример разработчика. Требования к среде приведены в репозитории.

От задачи к первому результату

## Практический пример

Задача

Проверить влияние предыдущей реплики на интонацию

Что подготовить

Короткий вымышленный диалог на английском с двумя явно обозначенными участниками.

### Задание или запрос

Speaker one asks when the repair shop opens. Speaker two answers that it opens at nine. Keep both lines short and preserve the pause.

### Ожидаемый результат

Черновое аудио двух реплик для прослушивания.

### Как проверить результат

- Различите голоса и сверьте смену говорящего с текстом.

- Проверьте произношение, длительность пауз и права на голосовые примеры.

Редакционный учебный пример постановки задачи, а не результат личного тестирования сервиса. Проверьте доступность нужного режима, права на исходники и условия использования результата.

Проверить подробности

## Официальные источники

-  [Официальный код и ограничения Sesame CSM ](https://github.com/SesameAILabs/csm)

-  [Карточка модели CSM ](https://huggingface.co/sesame/csm-1b)

-  [Исследование Sesame о разговорной речи ](https://www.sesame.com/journal/crossing-the-uncanny-valley-of-voice)

Описание составлено по материалам разработчика. Возможности, цены и доступность могут меняться; перед использованием сверяйтесь с первоисточником.

Коротко об инструменте

Разработчик

Sesame

Категория

[Аудио](https://instain.ru/category/audio/)

Доступ

Для самостоятельного запуска используйте опубликованные веса и пример разработчика. Требования к среде приведены в репозитории.

Оплата

Исследовательский выпуск доступен для самостоятельного запуска. Условия использования и ограничения проверяйте у разработчика.

API

Отдельный API не указан

[Условия разработчика ](https://github.com/SesameAILabs/csm)

Оценка каталога

4.13 / 5 

Возможности

4.30 / 5 

Рабочие сценарии

3.80 / 5 

Экосистема

4.20 / 5 

Документация

4.20 / 5 

Баллы — ориентир каталога. Они не являются отзывами пользователей или результатом личного тестирования.

[Посмотреть методологию ](https://instain.ru/methodology/)

Продолжить знакомство

## Для похожих задач

[Вся категория  ](https://instain.ru/category/audio/)

Аудио 

###  [Nari Labs Dia](https://instain.ru/ai/nari-dia/)

Синтез короткого диалога из текста

4.10 / 5   модель  

Похожие задачи; сравните условия, форматы и ограничения