Как запустить MOSS-Image локально: Python, ComfyUI, кванты и требования к памяти

01Из чего состоит установка

MOSS-Image — не одна модель, а связка из трёх компонентов, и качать нужно все три. Трансформер (5B single-stream DiT) отвечает за генерацию, текст-энкодер семейства Qwen 3.5 на 9B превращает промпт в эмбеддинги, а VAE-декодер собирает пиксели из латентов. В официальном наборе используется маленький декодер от FLUX.2 — отсюда скромные 0,25 ГБ вместо нескольких гигабайт у старых VAE.

Мы сверили размеры по файловому списку репозитория Comfy-Org/MOSS-Image на Hugging Face (снято 21.10.2026) — это готовые single-file веса для ComfyUI. В diffusers-репозитории те же компоненты лежат шардами по 5 ГБ, суммарно дают те же 27 ГБ в bf16.

02Что происходит при генерации

Ключевая деталь: по умолчанию на каждом шаге считается две ветки — условная и негативная, то есть трансформер прогоняется дважды. Авторы предлагают обнулять негативную ветку на 22-м слое (параметр uncond_skip_layers=[22]), и это не просто экономия: слои 22, 24 и 26 заявлены как дающие лучшую картинку. Если нужен негативный промпт, пропуск отключается передачей пустого списка.

03Путь 1: скрипт на Python

Этот путь даёт полный контроль: можно генерировать пакетами, подставлять раскладки из JSON и вешать модель в свой пайплайн. Зависимости ставятся в отдельное окружение — версии в требованиях свежие, и в системный Python они могут не встать.

python3 -m venv moss-env
source moss-env/bin/activate

pip install "diffusers>=0.38" "transformers>=5.3" \
  "accelerate>=1.10" "safetensors>=0.6" "Pillow>=10"

import torch
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained(
    "OpenMOSS-Team/MOSS-Image-SFT",
    custom_pipeline="pipeline_moss_image",
    trust_remote_code=True,
    torch_dtype={"default": torch.bfloat16, "vae": torch.float32},
)
pipe.to("cuda")

img = pipe(
    "A minimalist travel poster, cream background, \
blue mountains, title EXPLORE",
    height=1024, width=1024,
    num_inference_steps=50,
    guidance_scale=3.0,
    uncond_skip_layers=[22],
    generator=torch.Generator("cpu").manual_seed(42),
).images[0]
img.save("poster.png")

04Путь 2: нативные ноды ComfyUI

16 октября 2026 поддержку MOSS-Image влили в основную ветку ComfyUI (PR #17095), и это меняет инструкцию: старый плагин из репозитория модели больше не обязателен. Нужен master или nightly с коммитом e087d8f6 или новее — в релизе v0.41.3 поддержки ещё нет, и на нём ноды просто не появятся.

cd ComfyUI && git pull && pip install -r requirements.txt

huggingface-cli download Comfy-Org/MOSS-Image \
  --include "diffusion_models/*" "text_encoders/*" "vae/*" \
  --local-dir ./moss-files

models/diffusion_models/moss_image_sft_int8_convrot.safetensors
models/text_encoders/qwen3.5_9b_w4a8_gptq.safetensors
models/vae/flux2-vae_small.safetensors

Load Diffusion Model -> MOSS-Image Layout Prompt
  -> CLIP Loader (moss_image) -> KSampler -> VAE Decode -> Save Image

ModelSamplingAuraFlow (multiplier = 1)

05Сколько памяти нужно

Официальных цифр по видеопамяти нет, поэтому считаем от размеров: полный набор в bf16 — 29,7 ГБ, компактный (int8-диффузор плюс 4-битный энкодер) — 13,0 ГБ. К этому добавляются активации и латенты, а при CFG 3 на шаге живут две ветки. Практический вывод: 24 ГБ позволяют работать в компактной сборке с запасом, 12–16 ГБ требуют выгрузки компонентов между CPU и GPU, а на 8 ГБ остаётся только последовательный режим с падением скорости.

06Параметры сэмплинга

Base-версия не дистиллирована по CFG, поэтому настройки влияют на результат сильнее, чем у «ускоренных» моделей. Значения ниже — рекомендации из официального USERGUIDE, а не наши эксперименты.

07Промпты: язык, теги, раскладка

Модель понимает три формата: обычный текст, последовательность тегов и JSON-раскладку. С языком есть важная оговорка — авторы рекомендуют английский (больше всего данных в обучении), китайский поддерживается, прочие языки заявлены как «поддерживаются», но качество внутрикадрового текста на них не гарантируется. Русские надписи на картинке — лотерея: проверяйте каждую генерацию.

Теги ставятся в порядке качество → оценка → мета → год → персонаж → серия → автор → общее. Рабочий негативный набор из документации: nsfw, worst quality, bad anatomy, watermark, jpeg artifact. Переносы строк внутри кавычек модель рендерит как переносы в кадре — это самый надёжный способ управлять вёрсткой надписи.

{
  "summary": {
    "caption": "Minimalist travel poster, cream background, blue mountains, title EXPLORE on top"
  },
  "items": [
    {"label": "text", "text": "EXPLORE",
     "caption": "Large dark-blue uppercase title centered on top",
     "bbox": [-416, -384, -288, 384]},
    {"label": "object",
     "caption": "Flat blue mountain illustration, lower center",
     "bbox": [-192, -288, 384, 288]}
  ],
  "bbox_format": "yxyx",
  "bbox_coord_space": "abs_centralized"
}

08Типичные ошибки