Запуск Altar-1 на 4× H200: железо, vLLM и стоимость

01Железо: считаем VRAM до покупки

02Шаг 1. Готовим ноду

nvidia-smi -L
nvidia-smi --query-gpu=name,memory.total --format=csv

pip install -U vllm

df -h /models

03Шаг 2. Скачиваем веса

# вариант 1: HF CLI
hf download AikidoSec/altar-1 --local-dir /models/altar-1

# вариант 2: huggingface-cli (старое имя команды)
huggingface-cli download AikidoSec/altar-1 --local-dir /models/altar-1

# вариант 3: из кода Python
from huggingface_hub import snapshot_download
snapshot_download('AikidoSec/altar-1', local_dir='/models/altar-1')

Лицензия модели наследуется от GLM-5.3 и на Hugging Face помечена как «other» — перед коммерческим использованием прочитайте условия на страницах обеих моделей. Объём: 328 ГБ хранимых весов; часть слоёв (внимание, общий эксперт, плотные слои, голова) остаётся в BF16, 4-битными являются только веса роутируемых экспертов.

04Шаг 3. Запускаем vLLM с официальными флагами

Вендор даёт одну команду сервинга — она и есть эталон. Тензорный параллелизм равен четырём (по числу GPU), --trust-remote-code нужен из-за кастомной архитектуры MoE, --max-model-len 131072 поднимает контекст до 131 072 токенов. Ядро Marlin MoE vLLM выбирает автоматически.

vllm serve AikidoSec/altar-1 \
  --tensor-parallel-size 4 \
  --trust-remote-code \
  --max-model-len 131072

05Шаг 4. Проверяем, что сервер отвечает

# список моделей на сервере
curl -s http://localhost:8000/v1/models

# простой чат-запрос
curl -s http://localhost:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"AikidoSec/altar-1","messages":[{"role":"user","content":"Привет"}]}'

• Модель отвечает 200 и в логе видно, что выбран Marlin MoE — значит 4-битные эксперты подхватились.
• Проверьте занятую VRAM через nvidia-smi: веса должны раскладываться по всем четырём картам.
• Замерьте пропускную способность на своём реальном промпте: у агентных задач длинный контекст, и именно он, а не голый tok/s, определяет стоимость.
• Логируйте запросы локально — весь смысл развёртывания в том, что исходный код не покидает контур.

06Стоимость аренды: что выбрать

Вывод по деньгам простой: круглосуточная нода 4× H200 обходится примерно в 12 960–15 552 $ в месяц по официальным ставкам Nebius и RunPod на 26.09.2026. Это имеет смысл только при постоянной нагрузке: если вы гоняете пентест-агента несколько раз в неделю, посчитайте почасовую аренду с выключением, а не подписку на месяц. Дешевле H100 здесь не помогают — 4 карты по 80 ГБ дают 320 ГБ при 328.0 ГБ весов.

07Когда этот гайд вам не нужен

Altar-1 — нишевый инструмент под конкретный сценарий: он-прем анализ кода и пентест там, где данные не могут покидать периметр. Для большинства задач есть варианты дешевле и проще.

• Нужен ассистент для кода — берите хостинг проверенных кодинг-моделей или локальные 7–70B: разница в железе на два порядка.
• Нужен security-аудит без своего железа — те же продукты Aikido (AI Code Analysis, Deep PR Review, Aikido Attack) уже работают на Altar-1 как на сервисе.
• Нужна модель общего назначения на-преме — 328 ГБ и 4× H200 не окупятся, смотрите меньшие open-weight модели.
• Юридический риск критичен — сначала читайте лицензию GLM-5.3, она наследуется.