24 млрд параметров, 2,45 млрд активных, контекст 131 тысяча токенов и GGUF-сборки от 13,6 ГБ — разбираем, как запустить LFM2.5-24B-A2B на своём железе и не утонуть в выборе кванта.
LFM2.5-24B-A2B — последняя и самая крупная модель семейства LFM2.5 от Liquid AI: 24 млрд параметров при 2,45 млрд активных, контекст 131 072 токена и 16 языков, включая русский. В репозитории на Hugging Face лежат готовые GGUF-кванты от 13,6 до 48 ГБ, поэтому модель запускается и на ноутбуке с 16 ГБ памяти, и на сервере. Ниже — проверенные размеры файлов, команды для llama.cpp и Ollama и то, что стоит знать до скачивания.
LFM2.5-24B-A2B — гибридная MoE-модель, спроектированная под локальный запуск. Внутри 40 слоёв: 30 блоков double-gated short convolution и 10 слоёв группового attention (GQA). В каждом MoE-блоке 64 эксперта, но на токен выбираются только 4 — отсюда 2,45 млрд активных параметров при 24 млрд общих. Именно поэтому модель «24B» по качеству и по скорости ближе к 2–3B плотным моделям: считать на каждом токене нужно немного.
Важная деталь: LFM2.5-24B-A2B — чистая reasoning-модель, она всегда «думает» перед ответом: тег <think> добавляется в шаблон чата автоматически при старте ответа ассистента. Это отличает её от LFM2-24B-A2B, где размышления были опцией. На практике это значит, что короткие ответы будут длиннее по токенам, зато модель лучше держит многошаговые задачи и вызов инструментов.
В репозитории LiquidAI/LFM2.5-24B-A2B-GGUF шесть сборок. Размеры ниже — это реальные байты файлов из списка Hugging Face, снятые 20.10.2026, а не пересчёт «из числа параметров». Разброс почти в четыре раза: от 13,6 ГБ до 48 ГБ.
| Квант | Файл, ГБ | RAM/VRAM, ориентир | Когда брать |
|---|---|---|---|
| QAD Q4_0 | 13,6 | 16–24 ГБ | рекомендуем |
| Q4_K_M | 14,5 | 24 ГБ | баланс размера и качества |
| Q5_K_M | 17,0 | 24–32 ГБ | если память позволяет |
| Q6_K | 19,7 | 32 ГБ | почти без потерь |
| Q8_0 | 25,5 | 32–48 ГБ | максимум качества на CPU/большой VRAM |
| BF16 / F16 | 48,0 | 64 ГБ+ | тонкая настройка, не для инференса |
LFM2.5-24B-A2B-QAD-Q4_0.gguf — это checkpoint, дообученный через quantization-aware distillation: модель тренировали так, чтобы компенсировать потери от Q4_0. Поэтому она весит меньше Q4_K_M (13,6 против 14,5 ГБ) и при этом не обязана проигрывать ему в качестве. Если памяти впритык — начинайте с неё, а не с «традиционного» K-кванта.Самый короткий путь — llama.cpp: он скачает нужный GGUF прямо из Hugging Face по флагу -hf. Ничего вручную качать и распаковывать не нужно, но при первом запуске модели придётся подождать загрузку 13–25 ГБ.
brew install llama.cpp
llama-cli -hf LiquidAI/LFM2.5-24B-A2B-GGUF --temp 0.1 --top-k 50 --repeat-penalty 1.05
llama-cli -hf LiquidAI/LFM2.5-24B-A2B-GGUF --hf-file LFM2.5-24B-A2B-QAD-Q4_0.gguf
temperature 0.1, top_k 50, repeat_penalty 1.05. Эти же значения записаны в метаданные GGUF как general.sampling.*, поэтому llama.cpp применяет их по умолчанию: если вы не передали свои, получите именно рекомендованный режим. Для агентских задач с инструментами температуру лучше не поднимать — модель начинает «фантазировать» аргументы вызовов.Для серверного сценария тот же файл поднимается через llama-server и даёт OpenAI-совместимый эндпоинт, к которому можно подключить агентский фреймворк. Для GPU-инференса с батчингом вендор предлагает отдельные пути: FP8-checkpoint под vLLM и SGLang, ONNX для кросс-платформенного запуска и MLX-4bit для Apple Silicon.
В библиотеке Ollama модель есть как lfm2.5 с тегами 8b и 24b: первая — это LFM2.5-8B-A1B (меньшая модель семейства, 252 тыс. загрузок на странице), вторая — наш 24B-A2B. Команда запуска не требует ни скачивания файлов, ни настройки путей.
ollama run lfm2.5:24b
ollama list
ollama launch hermes --model lfm2.5
Публичных независимых замеров по LFM2.5-24B-A2B пока мало, поэтому все цифры ниже — данные авторов (Liquid AI), а не наш тест. В карточке модели вендор приводит 184 токена в секунду на Apple M5 Max и до 21 тыс. токенов вывода в секунду на одном GPU NVIDIA B300 — второе значение относится к серверному батчингу, а не к настольному запуску.
| Метрика | LFM2.5-24B-A2B | Сравнение | Источник |
|---|---|---|---|
| LiveClaw (агентные задачи) | 48,09 | 38,19 у Qwen3.6-35B-A3B | данные авторов |
| Скорость на Apple M5 Max | 184 ток/с | — | данные авторов |
| Скорость на NVIDIA B300 | до 21K ток/с | серверный батчинг | данные авторов |
| Активных параметров | 2,45 млрд | у Qwen3.6-35B-A3B — 3 млрд | карточка модели |
По заявлению вендора модель конкурентоспособна с Qwen3.6-35B-A3B на агентных и tool-use задачах, имея примерно на 50% меньше и общих, и активных параметров. Отдельно оговаривается ограничение: модель не рассчитана на задачи, где нужен большой объём зашитых знаний — её сильная сторона в вызове инструментов, поэтому в продукте её принято ставить в паре с поиском или RAG.
LFM2.5 — это линейка от 230M до 24B, и 24B-A2B в ней финальная и самая крупная модель. По загрузкам на Hugging Face видно, что популярнее всего компактные GGUF-сборки: 2.6B уверенно обгоняет старшую модель, потому что запускается на чём угодно. 24B-A2B вышел 9 октября 2026 и за одиннадцать дней набрал 120 тыс. загрузок GGUF-репозитория.
| Формат | Репозиторий | Для чего |
|---|---|---|
| GGUF | LFM2.5-24B-A2B-GGUF | llama.cpp, Ollama, CPU-инференс |
| FP8 | LFM2.5-24B-A2B-FP8 | vLLM и SGLang на GPU с высокой пропускной способностью |
| ONNX | LFM2.5-24B-A2B-ONNX | кросс-платформенный запуск, edge и мобильные |
| MLX 4-bit | LFM2.5-24B-A2B-MLX-4bit | Apple Silicon через MLX |
| Transformers | LFM2.5-24B-A2B | тонкая настройка, эталонные веса |
<think>.lfm1.0 в репозитории.ollama run lfm2.5:24b с окном 8K или QAD Q4_0 в llama.cpp. Машина на 32 ГБ: Q5_K_M или Q6_K и окно 32K. Сервер с GPU: FP8-вариант под vLLM. Агентские задачи — только с вызовом инструментов и RAG, иначе модель будет уверенно отвечать «из головы».lfm2.5 с тегами 8b и 24b: команда ollama run lfm2.5:24b скачает и запустит 24B-A2B. Дальше её можно прокинуть в агентский CLI, например ollama launch hermes --model lfm2.5.<think> добавляется в шаблон чата при старте ответа ассистента. В предыдущей LFM2-24B-A2B размышления были опцией, здесь это поведение по умолчанию.license: other, license_name: lfm1.0). Это не Apache 2.0: перед коммерческим использованием нужно прочитать текст лицензии в репозитории и проверить, покрывает ли она ваш сценарий.