Открытый рантайм на C++ с MIT-лицензией: один инсталлятор, выбор модели, локальный OpenAI-совместимый API. Фишка — DeepSeek-V4.1-Flash с чтением весов с SSD, то есть модель на 239–274 ГБ на карте с 12 ГБ памяти. Разбираем замеры вендора, поддержку железа и то, где начинаются компромиссы.
Strata — открытый рантайм для запуска больших моделей на своём компьютере: десктопное приложение, терминальная команда strata launch и локальный API, совместимый с OpenAI и Anthropic. Главная особенность не в скорости, а в трюке с памятью: то, что не влезает в видеопамять, читается с SSD, поэтому DeepSeek-V4.1-Flash-1017 запускается на карте с 12 ГБ. За месяц с небольшим проект набрал 35 577 звёзд и выпустил версию 0.2.7.
Формулировка из README — «запускайте мощный ИИ на своём компьютере: чат, код и работа с изображениями, локально». Технически это движок инференса на C++ плюс оболочка: графическое приложение для Windows, Linux и macOS, терминальный клиент и локальный HTTP-сервер с API, совместимым с OpenAI и Anthropic. Лицензия MIT, аккаунт не нужен, телеметрии в описании нет.
Чем Strata не является: это не облако и не API-прокси, не менеджер моделей для серверов и не замена vLLM на кластере. Проект целится ровно в один сценарий — человек за своим компьютером хочет работать с сильной моделью без подписки и без отправки данных наружу.
Скорость роста показательна: 35 тысяч звёзд за пять недель при 3 825 форках. Для проекта одного автора это означает две вещи одновременно — живой интерес и очень мало времени на стабилизацию. Версия 0.2.7 в этом смысле честный маркер: не 1.0, и список известных проблем в трекере стоит прочитать до установки.
В README три семейства. Основное — Qwen3.8-Flash-Next: для него рекомендованы кванты ISTA-DASLab (Q2_0, IQ2_XS, IQ3_XXS, IQ3_S, отдельный Coder IQ1_M для кода), альтернативы — Unsloth (от UD-IQ4_XS до Q8_0) и Gyro-S / Gyro-M от agentionai с меньшим потреблением памяти, но большей медлительностью. Второе — Qwen3.6-35B-A3B в трёх квантах Unsloth. Третье — DeepSeek-V4.1-Flash-1017, и вот тут начинается интересное.
| Семейство | Провайдеры квантов | Особенность |
|---|---|---|
| Qwen3.8-Flash-Next | ISTA-DASLab (рекомендован), Unsloth, Gyro, Swift 1.5, NVFP4, OrcaRouter | основная модель, есть Coder-вариант |
| Qwen3.6-35B-A3B | Unsloth: UD-Q4_K_XL, UD-Q6_K_XL, Q8_0 | документированные паки, MoE на 35B |
| DeepSeek-V4.1-Flash-1017 | ISTA-DASLab, 1.75 / 2.00 / 2.25 bpw | оффлоад на SSD, нужен большой диск |
| Изображения и чат | поддерживаются в десктопном приложении | работа с картинками и превью кода |
| Набор ISTA-DASLab | Загрузка | Свободно на диске | Качество против оригинала |
|---|---|---|---|
| 1,75 bpw | 239 ГБ | ~245 ГБ | перплексия +21%, код +8,9%, агентный текст +10,2% |
| 2,00 bpw | 257 ГБ | ~265 ГБ | перплексия +16%, код +8,5%, агентный текст +5,9% |
| 2,25 bpw | 274 ГБ | ~280 ГБ | перплексия +7,7–8,3%, код +3,5%, агентный текст +2,5% |
С Qwen3.8-Flash-Next логика другая, и её стоит понять до скачивания. Шард 1 грузится при старте: эксперты идут в RAM, остальное — на видеокарту, а 29-гигабайтная таблица поиска остаётся на SSD. Требования по памяти (RAM плюс VRAM, унифицированная память считается один раз): Q2_0 — 37,6 ГБ, IQ2_XS — 39,2 ГБ, IQ3_XXS — 47 ГБ, IQ3_S — 54,8 ГБ, Coder — около 32 ГБ. То есть 64 ГБ оперативной памяти хватает на все размеры, а на 48 ГБ помещаются только Q2_0 и IQ2_XS.
В README есть таблица для набора 2,00 bpw на версии 0.2.5 (для Strix Halo — 0.2.7). Формулировка авторов аккуратная: «output» — это скорость ответа, «prompt» — скорость чтения вашего ввода. То есть 4–6 токенов в секунду на RTX 5070 — это скорость генерации, а не «модель тормозит на каждом слове».
| Железо | Скорость ответа | Чтение промпта | Что это значит |
|---|---|---|---|
| RTX 5070 12 ГБ, 64 ГБ RAM | 4–6 ток/с | ~110 ток/с (4K) | медленно, но работает |
| RTX 3060 12 ГБ, 46 ГБ RAM | 9–11 ток/с | ~155 ток/с (4K) | лучше, чем на новой карте |
| 1× Radeon AI PRO R9700, 251 ГБ RAM | 21–25 ток/с | 320–360 ток/с (8K) | рабочий уровень для чата |
| 4× Radeon AI PRO R9700 | 74–77 ток/с | 400–450 ток/с (8K) | почти комфорт, но это сервер |
| Ryzen AI Max+ 395 (Strix Halo), 128 ГБ | 19–21 ток/с (код) | 87–125 ток/с (4–8K) | 11 ток/с в чате |
Читать таблицу стоит так: 4–6 токенов в секунду — это чтение, а не работа. Человек читает примерно 5–7 токенов в секунду, так что модель на RTX 5070 успевает ровно за вами, без запаса. Для «объясни код» этого достаточно, для агентной правки файла, где нужно 20 тысяч токенов вывода, — нет: это больше часа на одну задачу.
Установка сделана по принципу «одна кнопка». Для десктопа — один инсталлятор на систему: Strata-0.2.7-windows-x64-setup.exe, Strata-0.2.7-linux-x86_64.AppImage, Strata-0.2.7-macos-arm64.dmg. При первом старте приложение скачивает движок под вашу видеокарту.
curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh && sh install.sh
strata launch
strata launch --family deepseek41 --model ist-das-2.00bpw --plan
strata connect
Список поддерживаемых клиентов в README шире обычного: Claude Code, Codex CLI, OpenCode, oh-my-pi, pi.dev, Hermes Agent, OpenClaw, «и другие» через OpenAI- и Anthropic-совместимые API. Это важная деталь: совместимость с Anthropic API означает, что к локальной модели можно подключить инструменты, написанные под Claude, без прокси-прослоек.
Есть и более тяжёлые пути: сборка из исходников, Docker и отдельные инструкции под каждую платформу. Для сервера без графической оболочки это единственный вариант — десктопное приложение там не запустится.
Обычно локальные рантаймы делятся на «NVIDIA и Apple Silicon» и «всё остальное». У Strata список заметно длиннее, и это, пожалуй, главный аргумент в пользу проекта для тех, у кого AMD или Intel.
| Железо | Статус | Примечание |
|---|---|---|
| NVIDIA GeForce RTX 20 / 30 / 40 / 50 | поддерживается | основной путь, Windows и Linux |
| AMD Radeon RX 7700–7900, RX 9060/9070, AI PRO R9700 | поддерживается | через HIP, Linux |
| AMD Radeon RX 6800 / 6900 | экспериментально | RDNA2, отдельная инструкция |
| Intel Arc | Linux | отдельный гайд по установке |
| Apple Silicon M1 и новее | поддерживается | DeepSeek — только текст, 64 ГБ+ памяти |
| AMD Ryzen AI Max (Strix Halo) | поддерживается | унифицированная память, 128 ГБ |
| NVIDIA DGX Spark | Linux | добавлено в релизе 0.2.7 |
Обратите внимание на строку про Apple Silicon: DeepSeek на Mac работает только с текстом, и требуется 64 ГБ памяти и больше. Для мультимодальных задач на Mac остаются модели поменьше. Это ограничение не баг, а следствие того, как устроен оффлоад на унифицированной памяти.
Сильная сторона Strata — снижение порога. Не нужно знать GGUF, кванты и флаги llama.cpp: выбрал модель в меню, дождался загрузки, получил локальный API. Плюс поддержка AMD и Intel Arc, где выбор локальных рантаймов традиционно беден, и совместимость одновременно с OpenAI и Anthropic API, что закрывает вопрос подключения агентных CLI.
Слабая сторона — возраст. Проекту месяц с небольшим, версия 0.2.7, и в такой ситуации любой апдейт может поменять поведение оффлоада. Скорость на большой модели остаётся нишевой: 4–11 токенов в секунду на потребительских картах — это уровень «попробовать и понять», а не ежедневная работа. И ещё один момент, который редко пишут в обзорах: оффлоад на SSD означает, что модель постоянно читает сотни гигабайт с накопителя — на ноутбуке это ещё и нагрев с износом.
Кому подойдёт: разработчику с AMD-картой или Mac, которому нужен локальный API для агентных CLI; тому, кто хочет попробовать DeepSeek V4.1 без аренды сервера с SM100; тому, кто принципиально не отправляет код в чужое облако. Кому нет: тем, кто ждёт скорость облачной модели, и тем, у кого меньше 300 ГБ свободного места.