Recursive Flint: 39,8 млрд параметров для кодинга на своём железе

01Что такое Flint и чем он отличается

Flint — не файнтюн чужой модели и не «ещё один» форк. Recursive утверждает, что модель обучена с нуля: претрейн, мидтрейн, SFT и RL. Разработка заняла меньше четырёх месяцев, и компания прямо говорит, что значительную часть работы сделала её система автоматизации исследований Eureka Machine — от данных и рецептов обучения до оптимизации инференса.

Ключевая ставка — разреженность. При 39,8 млрд общих параметров активны только ~2,5 млрд на токен, то есть около 6% весов. Для локального железа это важнее абсолютного размера: чтение весов из памяти на каждом шаге определяется именно числом активных параметров, а не общим размером чекпоинта. Отсюда и заявленная скорость: авторы говорят о более 125 токенов в секунду на MacBook Pro с M4 Pro и более 150 токенов в секунду на NVIDIA RTX Spark с 64 ГБ памяти на коротких контекстах.

Отдельно стоит проговорить, чем Flint НЕ является. Это не чат-модель общего назначения и не замена большим закрытым моделям в сложных рассуждениях: в блоге релиза сказано, что модель может требовать больше указаний, чем крупные проприетарные coding-модели. Позиционирование честное — «ежедневная модель для задач, которые не хочется отправлять на чужой сервер».

02Архитектура: 49 слоёв и скользящее окно

Карточка модели даёт необычно детальную спецификацию — это удобно, потому что по ней видно, куда авторы вкладывались. 49 слоёв: два плотных и 47 MoE. Внимание гибридное — 35 слоёв со скользящим окном и 14 слоёв с полным вниманием. Окно скользящего слоя — 513 токенов (текущий плюс 512 предыдущих). Головы: 32 query и 4 key/value при размерности головы 128, плюс per-head QK RMSNorm и обучаемые attention sinks. Позиционное кодирование — RoPE на скользящих слоях.

Схема с двумя плотными слоями и MoE-стеком — типовой приём для «локальных» моделей 2025–2026 годов, но у Flint нестандартно длинное скользящее окно для такого числа слоёв. Практический смысл: KV-кэш растёт медленнее, и длинная агентная сессия с десятками вызовов инструментов не упирается в память так быстро, как у плотной модели того же класса.

03Бенчмарки: что именно заявили авторы

Recursive публикует три числа по агентным наборам: 54,9% на Terminal-Bench 2.1, 74,2% на SWE-bench Verified и 89,7% на SWE-bench Pro v2. Условия замеров указаны в карточке: температура 1.0, top-p 0.95, top-k 20; для агентных тестов — таймауты до 5 часов и средний pass@1 минимум по пяти попыткам. Terminal-Bench прогоняли на Terminus 2, а решения, полученные поиском в интернете, засчитывались как неуспешные.

Вторая группа заявлений — не качество, а скорость. По блогу: более 125 токенов/с на M4 Pro, более 150 токенов/с на 64-ГБ NVIDIA RTX Spark на коротких контекстах, до двух раз быстрее моделей своего класса и более чем в пять раз быстрее плотных моделей на 25–40 млрд параметров с сопоставимыми баллами. Скорость измерялась как среднее по сессии на 128k токенов, без префилла.

Мы не воспроизводили эти замеры и не можем их подтвердить. Что можно проверить объективно уже сейчас — размеры чекпоинтов, число загрузок и активность репозитория движка: об этом ниже.

04Как запускать: серверный BF16 и лёгкие кванты

Здесь начинается самое важное для практики. Полный BF16-чекпоинт — это 15 шардов общим весом около 79,6 ГБ, и серверный кит требует одну GPU с минимум 141 ГБ памяти: B300/B200 (Blackwell) или H200 (Hopper). В документации кита прямо сказано: 80-гигабайтные карты не поддерживаются. То есть «локально» в случае BF16 — это не рабочая станция, а серверный узел.

Первый старт на B300 с весами на быстром локальном диске занимает около четырёх минут; если несколько реплик читают веса из сетевого хранилища одновременно — до 15 минут. Помимо весов нужно около 50 ГБ на образ. Для H200 используется скрипт serve_h200.sh с бэкендом внимания FA3, для B300 — FA4 и MoE-раннер FlashInfer. Есть и конфигурация на 8 GPU (serve_node_8x.sh).

Сервер по умолчанию слушает 0.0.0.0 без аутентификации — документация советует публиковать порт только на localhost или в приватной сети либо добавлять --api-key. Это не мелочь: агент с доступом к файлам и терминалу на открытом порту — готовый инцидент.

Для машин без 141 ГБ есть квантованные варианты. Помимо BF16 Recursive выложила INT4 в safetensors, NVFP4 и две GGUF-сборки. В блоге описан приём, которым гордятся авторы: они квантовали в 4 бита выходную голову (lm_head) — при 2,5 млрд активных параметров она составляет заметную долю весов на токен — и восстанавливали точность дистилляцией на собственных сэмплах с 16-битной моделью в роли учителя. Итоговый NVFP4, по заявлению авторов, отстаёт от BF16 менее чем на 0,7 балла по их набору бенчмарков.

05Варианты весов и что они занимают

В блоге перечислены рантаймы, с которыми Flint совместим: llama.cpp, Ollama, Unsloth, LM Studio, vLLM и SGLang. Отдельно выпущен движок rec — репозиторий recursive-oss/rec на GitHub, версия v0.1.0 от 21.10.2026, лицензия Apache 2.0. На 23.10.2026 у него 149 звёзд, 16 форков и 12 открытых issues при активных пушах — то есть проект живой, но очень молодой.

06API и настройки генерации

Сервер отдаёт OpenAI-совместимый интерфейс, поэтому Flint подключается к большинству агентских обвязок без отдельного адаптера. Модель умеет возвращать reasoning и вызывает инструменты в формате OpenAI; в истории диалога нужно сохранять поле reasoning_content, иначе качество на длинных сессиях падает.

from openai import OpenAI
client = OpenAI(base_url="http://localhost:30000/v1", api_key="unused")
r = client.chat.completions.create(
    model="flint",
    messages=[{"role": "user", "content": "Write a function that merges intervals"}],
    max_tokens=32768,
)
print(r.choices[0].message.content)

Обратная сторона длинного reasoning: если бюджет вывода мал, модель может «съесть» его на рассуждениях и не дойти до ответа. Авторы отдельно предупреждают, что контекстное окно — это предел ёмкости, а не гарантия одинаковой точности на всей длине.

07Плюсы и ограничения

• Apache 2.0 без порогов выручки — в отличие от многих «open weights» лицензий, здесь нет ограничения на коммерческое использование по доходу.
• Разреженность под локальное железо — 2,5 млрд активных параметров дают шанс на приемлемую скорость там, где плотная модель на 40 млрд не поедет.
• Публичный серверный кит — Dockerfile, скрипты под B300/H200/8 GPU, примеры клиентов и настройки генерации лежат рядом с весами.
• Разные форматы — BF16, INT4, NVFP4 и GGUF: путь есть и для сервера, и для ноутбука.
• Прозрачные условия замеров — температура, таймауты, число попыток и поправка на веб-поиск указаны прямо в карточке.

• 141 ГБ VRAM для BF16 — 80-гигабайтные карты официально не поддерживаются; «локально» здесь означает серверный узел.
• Бенчмарки только от авторов — независимых прогонов на 23.10.2026 нет, а сравнительные цифры в графиках частично developer-reported.
• Молодой инструментарий — движку rec меньше трёх дней, у него 12 открытых issues; серверный кит валидирован только на B300 и H200.
• Не чат-модель общего назначения — по заявлению авторов требует более явных указаний, чем крупные закрытые coding-модели.
• Сервер без аутентификации по умолчанию — при небрежной настройке открывает доступ к агенту всем в сети.

Кому Flint интересен в первую очередь: командам, которые хотят держать код и данные внутри периметра, и владельцам серверных GPU (H200/B300), которым нужна быстрая модель для рутинных агентных задач — правок, тестов, разбора репозитория. Кому нет: тем, у кого одна потребительская карта на 24 ГБ и ожидание «как Claude в один клик» — кванты есть, но гарантий по качеству и памяти авторы не дают.

08Как мы это проверяли

Что из этого можно перепроверить самостоятельно за пять минут: список файлов и их размеры (huggingface.co/api/models/RecursiveSI/flint?blobs=true), число загрузок по вариантам, историю звёзд движка rec и текст sglang/README.md с требованиями к железу.