Речевая языковая модель NVIDIA на 34 млрд параметров с 4,3 млрд активных: транскрипция 40 языков, диаризация, таймстампы и записи до часа в одном чекпойнте.
Nemotron 3.5 Transcribe — это не ещё один Whisper. NVIDIA собрала речевую языковую модель: аудио-энкодер с веткой диаризации подключён к гибридной Mamba-Transformer MoE-модели, поэтому одна сеть расшифровывает запись, размечает спикеров, ставит таймстампы и переводит речь на английский. Разбираем, что подтверждено замерами вендора, а где начинаются ограничения.
Архитектура состоит из двух частей. Первая — «восприятие»: Transformer-энкодер ASR и энкодер спикеров Sortformer работают параллельно, каждый по своей ветке. Вторая — языковая основа Nemotron-3.5-Lightning 30B-A3B, гибрид Mamba-2 и Transformer с mixture-of-experts. Сверху добавлена CTC-голова для выравнивания по времени и механизм multi-token prediction для ускорения генерации.
Практическое следствие: модель можно просить не только «расшифруй», но и «расшифруй с таймстампами», «переведи на английский», «разметь спикеров», «найди PII». Инструкция передаётся обычным текстовым сообщением рядом с аудио, как в чате.
Все цифры ниже — из карточки модели, замеры сняты 12 октября 2026. Это данные авторов: независимого прогона в этом обзоре мы не делали, поэтому принимаем их как заявленные, а не как проверенные нами.
| Задача | Результат | С чем сравнивают | Метрика |
|---|---|---|---|
| Английский ASR, 9 наборов | 4,71 | Qwen3-ASR-1.7B — 4,94 | WER, % |
| Длинные записи | 10,98 | Parakeet 0.6B v3 — 13,37 | WER, % |
| Мультиязычный ASR, 7 языков | 4,62 | Qwen3-ASR-1.7B — 6,49 | WER, % |
| Мультиспикер, полные сессии | 15,80 | DiCoW v3.3 + DiariZen — 16,83 | cpWER, % |
| Управление стилем | 6,16 | Canary-Qwen — 8,36 | WER, % |
В матрице поддержки русский отмечен как ведущий язык: транскрипция, перевод в обе стороны, мультиспикер и переключение кодов. Во FLEURS модель показала WER 3,80, в CoVoST2 — 2,47, а определение языка на FLEURS — 99,74% точности. Это уровень, при котором русская речь распознаётся без словаря подсказок.
| Язык | FLEURS WER | Комментарий |
|---|---|---|
| Итальянский | 1,41 | лучший результат в матрице |
| Русский | 3,80 | ведущий язык, диаризация есть |
| Украинский | 5,88 | готов к продакшену |
| Греческий | 26,93 | слабое место, нужна проверка |
| Иврит | 20,97 | высокий WER |
| Норвежский | 63,76 | практически не работает |
Нужны vLLM 0.32.0 и актуальная ветка NeMo Speech: плагин для этой модели живёт в NeMo, а не в самом vLLM. Ниже сокращённый путь; полный набор флагов — в карточке модели.
git clone https://github.com/NVIDIA-NeMo/Speech.git cd Speech uv venv --python 3.13 .venv uv sync --extra asr --extra vllm --locked
hf download nvidia/NVIDIA-Nemotron-3.5- Transcribe-30B-A4B --local-dir ./nemo-transcribe
export VLLM_PLUGINS=nemo_speechlm export VLLM_USE_V2_MODEL_RUNNER=0 vllm serve ./nemo-transcribe --trust-remote-code --dtype bfloat16 --max-model-len 65536 --gpu-memory-utilization 0.94
client = OpenAI(base_url= 'http://127.0.0.1:8000/v1', api_key='EMPTY') # messages: text + audio_url (data:audio/wav)
VLLM_USE_V2_MODEL_RUNNER=1 они просто не появятся. Второе — по умолчанию vLLM декодирует аудио до 600 секунд, для часовой записи нужна переменная VLLM_MAX_AUDIO_DECODE_DURATION_S=3600.Главное ограничение — железо. 34 млрд параметров с 4,3 млрд активных требуют одной карты на 80 ГБ в BF16; на 24 ГБ модель не встанет даже с квантованием без потери качества. Второе: максимальная скорость из пресс-релиза (2 238 секунд аудио в секунду на RTX PRO 6000) достигнута в NVIDIA NIM, а открытый vLLM-путь вендор сам оценивает как «примерно вдвое медленнее».
| Ограничение | Детали | Что делать |
|---|---|---|
| Железо | BF16-чекпойнт 67,5 ГБ, запуск на H100 80 ГБ | брать FP8 или NVFP4 |
| Скорость | открытый vLLM вдвое медленнее NIM | учитывать при выборе хостинга |
| Шумная речь | HALAS 31,50 | не полагаться на денайзинг модели |
| Редкие языки | норвежский, греческий, иврит | проверять на своих данных |
| Понимание аудио | рассуждения и инструкции — только английский | не строить на этом продукт |
| Лицензия | OpenMDW-1.1, не OSI-совместимая | юристу читать условия перед продакшеном |
Лицензия OpenMDW-1.1 разрешает коммерческое использование, но это отдельный документ, а не Apache-2.0 и не MIT. Если модель становится частью продукта, условия стоит прочитать целиком: там есть требования к маркировке происхождения и оговорки об ответственности.
| Модель | Размер | Языки | Русский | Лицензия |
|---|---|---|---|---|
| Nemotron 3.5 Transcribe | 34B / 4,3B активных | 40 | ведущий | OpenMDW-1.1 |
| Whisper large-v3 | large | около 99 (заявлено) | есть | Apache-2.0 |
| Parakeet-TDT-0.6B-v3 | 0,6B | 25 европейских | есть | CC-BY-4.0 |
| GigaAM-v3 | 220–240M | ru + en | основной | MIT |
| Qwen3-ASR-1.7B | 1,7B | не раскрыт в карточке | уточняйте | Apache-2.0 |
Практический вывод: если задача — русская речь и мало железа, Nemotron избыточен, там сильнее GigaAM-v3 с 240 млн параметров. Nemotron выигрывает, когда нужны диаризация, часовые записи, перевод на английский и таймстампы в одном вызове, а карта на 80 ГБ есть.