LFM3-1.7B локально: запуск через Ollama, llama.cpp и vLLM

01Архитектура: почему 24 слоя и 256K контекста уживаются в 1,7B

Основа LFM3 — три типа слоёв в одной сети. Больше половины слоёв занимают гейтовые короткие свёртки: они дешёвые по вычислениям и хорошо работают на длинном контексте. Слой со скользящим окном добавляет локальную точность, а шесть слоёв глобального внимания отвечают за связь между удалёнными участками текста.

Отдельно стоит зафиксировать: 256K — это окно на вход и выход вместе. Если модель долго рассуждает, место под ответ уменьшается. На практике для агентных задач это значит, что длинные рассуждения нужно ограничивать, иначе ответ обрежется.

02Кванты: сколько занимает и какой выбрать

Liquid выложила готовые GGUF-сборки, поэтому пересчитывать размеры из числа параметров не нужно — берём фактические размеры файлов из репозитория LiquidAI/LFM3-1.7B-GGUF.

В карточке модели отдельно указано: в 4-битном представлении текстовая модель занимает около 1 ГБ памяти и помещается на телефон или ноутбук. Это оценка вендора для весов; реальный процессу нужно ещё место под контекст, и оно растёт вместе с длиной промпта.

03Установка: три пути под разные задачи

ollama run lfm3:1.7b

curl http://localhost:11434/api/generate -d '{
  "model": "lfm3:1.7b",
  "prompt": "Скажи одним предложением, что ты умеешь"
}'

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build
cmake --build build -j

llama-cli -hf LiquidAI/LFM3-1.7B-GGUF:Q4_K_M
  --temp 0.1 --top-k 50 --repeat-penalty 1.1

llama-server -hf LiquidAI/LFM3-1.7B-GGUF:Q4_K_M
  --ctx-size 32768 --port 8080

pip install vllm
vllm serve LiquidAI/LFM3-1.7B --max-model-len 65536

curl http://localhost:8000/v1/chat/completions
  -H 'Content-Type: application/json'
  -d @req.json

04Замеры: где 1,7B действительно сильна

Вендор сравнивает LFM3-1.7B с предыдущим поколением LFM2.5-2.6B и с моделями того же класса. Цифры ниже — из карточки модели, то есть данные авторов. Независимых прогонов по этим наборам на момент публикации гайда нет.

Из таблицы видно и сильное, и слабое. Сильное — вызов инструментов и агентные сценарии: там модель уверенно обходит предшественницу. Слабое — реальный кодинг: Terminal-Bench 2.1 у 1,7B остаётся низким, и вендор это не скрывает, прямо указывая, что модель не предназначена для агентного кодинга.

05Русский язык и работа в агентных обвязках

В списке языков карточки 16 позиций, и русский входит в их число наряду с английским, немецким, французским и польским. Отдельных замеров по русскому вендор не публикует, поэтому качество стоит проверять на своих задачах — особенно на длинных ответах и на структурированном выводе.

Заметная деталь: модель посттренировали под конкретные агентные обвязки — в карточке названы Hermes Agent, Pi и OpenClaw. Это значит, что формат вызова инструментов и служебные токены в шаблоне чата уже рассчитаны на такие среды, а не собраны «в общем виде».