Как запустить Qwen3.8-27B локально: Ollama, llama.cpp и MTP-ускорение

01Что за модель и что понадобится

Qwen3.8-27B — это dense-модель, то есть все 27 миллиардов параметров участвуют в каждом запросе. Такой формат проще запускать на одном устройстве, чем MoE-модели: у них активна лишь часть экспертов, но общий вес файла в разы больше. У Qwen 3.8 в открытых весах есть три родственника: сама 27B (плотная, эта статья), Flash-Next (MoE, требует порядка 75 ГБ RAM) и 2.4T-A95B (гигантская MoE для серверов).

Практический минимум для запуска: 8–12 ГБ видеопамяти на 2–3-битных квантах, 16–24 ГБ на привычном 4-битном, от 32 ГБ на 8-битном. Часть слоёв можно вынести в оперативную память (флаг -ngl в llama.cpp), но скорость тогда падает в разы. Процессор без видеокарты тоже работает — медленно, но работает.

02Шаг 1. Выбираем квант под видеокарту

Квант — это сжатие весов. Чем меньше бит на параметр, тем меньше файл и тем заметнее потери качества. В репозитории unsloth/Qwen3.8-27B-GGUF лежит 24 файла, включая динамические кванты серии UD: разные слои в них сжаты по-разному, поэтому качество проседает медленнее. Ниже — фактические размеры файлов, а не оценки.

03Способ 1. Ollama: две команды

Самый короткий путь. На странице библиотеки Ollama у модели qwen3.8 4,1 млн загрузок и 12 тегов; тег latest — это как раз 27B в 4-битном кванте весом 18 ГБ с контекстом 256K, поддержкой изображений и инструментов (снято 17.10.2026).

curl -fsSL https://ollama.com/install.sh | sh

ollama pull qwen3.8

ollama run qwen3.8 "Объясни в двух предложениях, что делает Gated DeltaNet"

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen3.8","messages":[{"role":"user","content":"Привет"}]}'

04Способ 2. llama.cpp и MTP-ускорение

llama.cpp даёт ручной контроль: выбор кванта, тип KV-кэша, число слоёв на GPU и спекулятивное декодирование. Проект под MIT, у репозитория 131 449 звёзд и свежий релиз v0.7.0 от 15.10.2026 (снято 17.10.2026).

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp && cmake -B build && cmake --build build -j

pip install -U huggingface_hub
hf download unsloth/Qwen3.8-27B-GGUF Qwen3.8-27B-UD-Q4_K_XL.gguf --local-dir ~/models

./build/bin/llama-server -m ~/models/Qwen3.8-27B-UD-Q4_K_XL.gguf -ngl 99 -fa on -c 32768 --jinja --port 8080

Дальше — ускорение. Модель обучали с MTP (Multi-Token Prediction): небольшая голова предсказывает несколько токенов вперёд, а основная модель проверяет их одним проходом. Проект ggml-org выложил mtp-*.gguf драфты отдельными файлами (Q4_0 — 1,68 ГБ, Q8_0 — 3,16 ГБ, BF16 — 5,95 ГБ). В документации llama.cpp за это отвечает тип --spec-type draft-mtp, а сам файл драфта подставляется флагом -md.

./build/bin/llama-server -m ~/models/Qwen3.8-27B-UD-Q4_K_XL.gguf \
  -md ~/models/mtp-Qwen3.8-27B-Q4_0.gguf \
  --spec-type draft-mtp -ngl 99 -fa on -c 32768 --jinja --port 8080

05Способ 3. LM Studio и продакшн-серверы

Если не хочется терминала, берите LM Studio: он ищет модели по названию репозитория, сам скачивает GGUF и поднимает локальный сервер. Для Apple Silicon есть MLX-сборки: qwen3.8:27b-mlx весом 18 ГБ в библиотеке Ollama. Для продакшна на большой карте подходят vLLM и SGLang — они запускают модель как сервис с батчингом запросов.

06Подключаем агента к локальной модели

Локальный сервер отдаёт тот же протокол, что и облачные API, поэтому подойдёт любой инструмент с настройкой базового адреса. В конфигурации укажите base URL http://localhost:8080/v1 (llama.cpp) или http://localhost:11434/v1 (Ollama) и имя модели, которое печатает сервер при старте.

curl http://localhost:8080/v1/models

export OPENAI_BASE_URL=http://localhost:8080/v1
export OPENAI_API_KEY=local

nvidia-smi --query-gpu=memory.used --format=csv

07Грабли и тонкости

• Забыли --jinja — многошаговые диалоги, вызов инструментов и режим размышления работают неправильно.
• Режим размышления включён по умолчанию. Модель думает перед ответом: для быстрых задач отключайте рассуждения или снижайте их глубину параметром reasoning_effort.
• Контекст вытесняет слои в RAM. Если скорость внезапно упала до десятков токенов в секунду, уменьшите контекст или включите квантованный KV-кэш.
• Зрение требует отдельного файла. Для картинок подключайте проектор mmproj (0,63–0,93 ГБ) — без него модель работает только с текстом.
• Старые сборки движка. Архитектура появилась в августе 2026-го; обновите llama.cpp, Ollama и LM Studio, иначе загрузка упадёт с ошибкой.