Fish Audio Drama 3: обзор TTS-модели для многоголосых сцен

01Коротко: что это за модель

Drama 3 продолжает линию Fish Audio, но меняет жанр применения. Предыдущие открытые модели семейства (fish-speech 1.2–1.5, s1-mini) решали задачу «озвучить текст похожим голосом». Drama 3 решает задачу «озвучить диалог»: у модели есть разметка спикеров, автоматическое разбиение длинного текста на чанки со стримингом и режим правки через продолжение — вы отправляете предыдущий дубль и просите переписать конкретное место, модель продолжает с сохранением тембра.

Модель вышла сразу с поддержкой двух инференс-стеков: SGLang-Omni и vLLM-Omni. Это важный сигнал зрелости — новые TTS-модели часто появляются как исследовательский код без серверной обвязки, а здесь с первого дня есть рецепты запуска и потоковый API. Для команд, которые уже держат vLLM для LLM, второй путь означает меньше нового зоопарка технологий.

02Как модель собирает сцену

Пайплайн выглядит как обычная авторегрессионная генерация, только вместо текстовых токенов на выходе — аудио-коды. Текст с разметкой спикеров уходит в MoE-бэкбон, который на каждом шаге активирует лишь часть экспертов; затем декодер разворачивает десять кодовых книг в волновой сигнал. Длинный текст режется на чанки автоматически, и каждый чанк можно отдавать в стрим по мере готовности.

03Четыре способа запустить

Выбор сводится к тому, есть ли у вас GPU и нужен ли SLA. Ниже — варианты из документации, от «сервер в своей стойке» до «отдал запрос в облако вендора».

git clone https://github.com/sgl-project/sglang-omni.git && cd sglang-omni
uv pip install --prerelease=allow -v -e ".[fishaudio]"

sgl-omni serve --model-path fishaudio/drama-3 --port 8000

curl -X POST http://127.0.0.1:8000/v1/tts \
  -H 'Content-Type: application/json' \
  -d '{"text":"[sighs] Fine. If we miss it, it is on you.","references":[{"audio_path":"ref.wav","text":"..."}]}'

# previous_takes: ["The quarterly report is due on Wednesday, ..."]

04Что говорят проверяемые цифры

Ниже — только данные, которые можно перепроверить запросом к API Hugging Face. Они не измеряют качество речи, зато показывают реальный интерес и место модели в семействе.

05Лицензия: где заканчивается «бесплатно»

Веса распространяются по Fish Audio Community License 1.0 (редакция от 13 октября 2026). Это не открытая лицензия в смысле OSI: исследования и некоммерческое использование разрешены свободно, коммерческое — с оговорками, а предоставление сервиса третьим лицам требует отдельного письменного договора.

• Некоммерческое и исследовательское использование — бесплатно и без порога.
• Коммерческое использование разрешено, пока годовая выручка лицензиата и аффилированных лиц ниже 500 000 долларов США.
• Выше порога, а также для любого hosted-сервиса (когда модель работает для третьих лиц) нужен отдельный договор с Fish Audio.
• Лицензия отзывная и непередаваемая: условия могут измениться в следующих версиях документа.
• Права на клонированный голос лицензией не покрываются вовсе — нужно согласие человека.

06Плюсы и минусы

07Что выбрать под задачу

Отдельно стоит помнить про голосовую часть агентных пайплайнов: там обычно нужен не максимальный реализм, а низкая задержка первого чанка. Drama 3 стримит по чанкам, но 3 млрд активных параметров — это всё-таки не 80-миллионная модель для мгновенного отклика. Разделяйте «контентную» озвучку и «интерфейсную» — под них нужны разные движки.