Nemotron 3.5 Bolt E4B 4GB: обзор локальной модели NVIDIA для устройств

01Что именно выпустили

Это не новая архитектура и не модель с нуля. В карточке прямо сказано: база — Gemma-4-E4B-it от Google, а вклад NVIDIA — посттренинг. Авторы перечисляют, что именно улучшали: многошаговое использование инструментов, следование инструкциям и «заземление» на входные данные (input grounding). То есть модель учат не рассуждать о мире, а аккуратно работать с тем, что ей дали в промпте и в ответах инструментов.

Название расшифровывается просто: E4B — 4 млрд эффективных параметров, 4GB — версия с квантом, рассчитанная на устройства с небольшим объёмом памяти. Полная модель содержит 8 млрд параметров, но активируется примерно половина — механика та же, что у Gemma-4-E4B. Для практики это значит: качество выше, чем ждёшь от 4-миллиардной плотной модели, а скорость и память — как у 4-миллиардной.

02Стек и что он означает на практике

Раскладка релиза необычная для «просто модели»: в репозитории лежит готовый GGUF-файл, а не только safetensors. Это значит, что NVIDIA целилась не в исследователей с кластером, а в людей, которые запускают модель на одной видеокарте или на одноплатнике. Вариант BF16 для тех, кому нужно качество без потерь квантования и есть память, опубликован отдельным репозиторием.

Ключевые флаги запуска в рецепте авторов: --jinja (без него не заработает chat-шаблон с переключателями), -c 65536 для полного контекста и -ngl 999 для выгрузки всех слоёв на GPU. Спекулятивное декодирование включается парой флагов --spec-type draft-dflash и --spec-draft-n-max 7. Переключатели режима идут через chat-шаблон: thinking=True для рассуждений и conversational_mode=True для разговорного стиля — то есть управление поведением лежит в запросе, а не в отдельной сборке модели.

03Замеры: где модель действительно сильна

Главный аргумент релиза — таблица из 21 бенчмарка, где модель сравнивают с Gemma-4-E4B-it, Qwen3.5-4B и Nemotron-3 Nano-4B, причём и в BF16, и в Q4_K_M. Все числа — данные NVIDIA: замеры сделаны в едином харнессе NeMo Gym, и в карточке честно оговорено, что они могут расходиться с цифрами самих вендоров. Независимого воспроизведения на момент публикации нет.

Картина получается непротиворечивая и довольно узкая. Nemotron Bolt выигрывает там, где нужно удержать роль или формат и не сорваться в многошаговом диалоге: RoleBench, IHEval, When2Call, RelyToolBench, MultiChallenge. Qwen3.5-4B остаётся сильнее в классических агентных задачах с инструментами (Tau2-Bench), на длинном контексте (RULER, LongBench v2) и в вызове функций по спецификации (BFCL-v3). Это ровно то, что заявляет сама NVIDIA: модель заточена под ассистента, а не под универсального агента.

04Квантование: что теряется в Q4_K_M

Отдельная ценность карточки — сравнение BF16 и Q4_K_M по тем же 21 бенчмаркам. Обычно квант ругают за деградацию, здесь же на части строк он улучшает результат: RoleBench 71,21 против 67,05, MultiChallenge 55,60 против 53,10, RoleMRC 79,12 против 80,63 в обратную сторону. Это нормальный шум квантования на задачах с узким форматом ответа — и хороший аргумент против того, чтобы считать Q4 «сломанной» версией.

05Запуск: llama.cpp в докере за пять шагов

Авторы дают готовый рецепт под llama.cpp и отдельно упоминают vLLM — для него в карточке есть дополнительные параметры. Ниже — минимальный путь без драфтера: он проще и предсказуемее, а спекулятивное декодирование добавляйте, когда базовая сборка уже работает.

hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB \
  Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf --local-dir ./bolt

docker run --rm --gpus all -p 8000:8000 \
  -v "$PWD/bolt:/models:ro" \
  ghcr.io/ggml-org/llama.cpp:server-cuda13-b11459 \
  -m /models/Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf \
  --alias nemotron-bolt --host 0.0.0.0 --port 8000 \
  -c 65536 -ngl 999 --jinja

curl -s http://localhost:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d @req.json

hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash \
  Nemotron-3.5-Bolt-E4B-DFlash-BF16.gguf --local-dir ./bolt

BASE_URL=http://localhost:8000/v1

{
  "model": "nemotron-bolt",
  "messages": [
    {"role": "user",
     "content": "17 * 23 = ?"}
  ],
  "chat_template_kwargs":
    {"enable_thinking": true}
}

06Лицензия: что можно и чего нельзя

Здесь два слоя, и путать их нельзя. Сама модель распространяется по OpenMDW-1.1 — открытой лицензии для весов, которую NVIDIA использует в семействе Nemotron. Но модель дообучена из Gemma-4-E4B-it, а значит поверх неё действует Apache 2.0 от Google для исходной модели. В карточке это сказано прямо, и в README проекта NVIDIA отдельно указывает, что модель готова к коммерческому и некоммерческому использованию.

Практический нюанс: обучающие данные открыты не полностью. В карточке есть выборка без ограничений, а часть корпусов кода, математики и мультиязычных данных выдаётся после гейтинга и одобрения. Для продукта это важно только в одном случае — если вы обязаны документировать происхождение данных; для обычного использования весов достаточно условий самой лицензии.

07Кому подходит, а кому нет

• Локальный голосовой ассистент. Низкая задержка до первого токена — то, что авторы ставят главной целью.
• Встраиваемые интерфейсы. 33 языка в карточке, включая русский, и файл, который влезает на устройство с 8 ГБ памяти.
• Персонажи и ролевые сценарии. RoleBench и RoleMRC — самые уверенные строки в таблице.
• Агенты с инструментами и строгим форматом. When2Call и RelyToolBench показывают устойчивость к многошаговым вызовам.

• Длинный контекст как основа работы. На RULER 64K и LongBench v2 Qwen3.5-4B заметно впереди — для RAG по большим документам это критично.
• Сложные агентные среды. Tau2-Bench проигран с разрывом почти в 20 пунктов, а именно он ближе всего к реальным многошаговым задачам.
• Задачи, где нужен «ум», а не послушание. EQ-Bench v3 чуть выше у Gemma, а общая эрудиция у 4B-класса ограничена по определению.
• Продакшн без тестов. Цифры вендорские, независимых замеров нет.

Разрыв в загрузках — не приговор модели, а её возраст: 44 тысячи за три недели против миллионов у моделей, живущих с февраля. Но он же напоминает, что экосистемы вокруг Nemotron Bolt пока нет: меньше готовых интеграций, промптов и разборов ошибок. Первым пользователям придётся читать карточку и рецепты запуска, а не форумы.