Groq — облако быстрого инференса с OpenAI-совместимым API. Разбираем, как получить ключ, какие модели есть в каталоге, сколько стоит миллион токенов и как подключить Groq к своему агенту за пять минут.
Groq — провайдер инференса, который строит облако вокруг собственных чипов LPU и отдаёт модели по протоколу, совместимому с OpenAI API. Для разработчика это значит: тот же SDK openai, другой base_url. В каталоге на 30.10.2026 — 14 моделей: от llama-3.1-8b-instant по $0,05 за миллион входных токенов до qwen3.8-27b по $0,80.
base_url="https://api.groq.com/openai/v1". Из России есть две отдельные проблемы: доступ к самому API и оплата аккаунта — это разные задачи, и решать их лучше вместе (см. раздел про доступ и оплату).Groq делает ставку не на самые большие модели, а на скорость и стоимость инференса. На официальном сайте компания называет себя «neocloud для быстрого инференса» и описывает два поколения железа: LPU (собственные чипы) и LPX, который работает вместе с GPU NVIDIA. Там же указано, что Groq закрыл Series A на $350 млн — деньги идут в инфраструктуру, а не в обучение моделей.
Для пользователя API это означает простую вещь: Groq не продаёт подписку на «своего ассистента», а продаёт токены. Вы платите за вход и выход модели, как у любого inference-провайдера. Модели — открытые (Llama, Qwen, GPT-OSS, Whisper, Orpheus), собственных закрытых моделей в каталоге нет.
Второе отличие — совместимость. Эндпоинт /openai/v1 принимает те же запросы, что OpenAI: chat/completions, audio/transcriptions, стриминг через SSE. Поэтому переход с OpenAI на Groq — это смена двух строк в коде, а не переписывание интеграции.
export GROQ_API_KEY="gsk_..."
curl -s https://api.groq.com/openai/v1/models -H "Authorization: Bearer $GROQ_API_KEY" | head
api.groq.com/openai/v1/models и к документации консоли вернул HTTP 403. Это не значит, что аккаунт не работает, но означает: без рабочего маршрута до api.groq.com интеграция не поднимется. Проверяйте доступность до того, как пополнять баланс.Ниже — каталог Groq по данным публичного реестра models.dev, снятый 30.10.2026. Цены указаны в долларах за миллион токенов: вход — то, что вы отправляете, выход — то, что модель сгенерировала. Нулевая цена в реестре означает, что модель отдаётся бесплатно или тарифицируется отдельно (например, по минутам аудио).
| Модель | Контекст | Вход | Выход | Назначение |
|---|---|---|---|---|
| llama-3.1-8b-instant | 131 072 | $0,05 | $0,08 | дешёвый чат, классификация |
| gpt-oss-20b | 131 072 | $0,075 | $0,30 | компактная reasoning-модель |
| gpt-oss-safeguard-20b | 131 072 | $0,075 | $0,30 | модерация с политикой |
| gpt-oss-120b | 131 072 | $0,15 | $0,60 | основная рабочая модель |
| llama-3.3-70b-versatile | 131 072 | $0,59 | $0,79 | универсальный чат |
| qwen3.6-27b | 131 072 | $0,60 | $3,00 | агентные задачи, длинный вывод |
| qwen3.8-27b | 131 072 | $0,80 | $4,00 | сложные агентные цепочки |
| allam-2-7b | 4 096 | 0 | 0 | арабоязычная модель |
| prompt-guard-2-22m | 512 | $0,03 | $0,03 | защита от prompt-инъекций |
| prompt-guard-2-86m | 512 | $0,04 | $0,04 | защита от prompt-инъекций |
Разброс цен внутри одного провайдера большой: выход qwen3.8-27b стоит в 50 раз дороже выхода llama-3.1-8b-instant. Поэтому экономика агента считается не «по среднему чеку», а по конкретной паре моделей: дешёвая модель на классификацию и роутинг, дорогая — только на финальный ответ.
Пример расчёта без выдуманных курсов: если агент за задачу отправляет 8 000 входных токенов и получает 1 500 выходных, то на gpt-oss-120b это 8 000 × $0,15/1M + 1 500 × $0,60/1M ≈ $0,0021 за задачу. На llama-3.1-8b-instant та же задача стоит примерно $0,0005. Рублёвую сумму считайте по формуле «цена в долларах × курс + комиссия канала оплаты» — фиксированного «курса для России» не существует.
Отдельного SDK Groq не требуется: используется официальный клиент OpenAI, у которого меняются base_url и ключ. Это работает и в Python, и в Node.js.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.groq.com/openai/v1",
api_key=os.environ["GROQ_API_KEY"],
)
resp = client.chat.completions.create(
model="openai/gpt-oss-120b",
messages=[
{"role": "system", "content": "Ты кратко отвечаешь по-русски."},
{"role": "user", "content": "Объясни в двух предложениях, что такое LPU."},
],
temperature=0.3,
)
print(resp.choices[0].message.content)Стриминг включается одним флагом: stream=True, дальше итерируете по чанкам и печатаете delta.content. Для агентских сценариев это критично: первый токен приходит раньше, чем модель закончит ответ, и таймаут на клиенте можно держать коротким.
curl -s https://api.groq.com/openai/v1/chat/completions \
-H "Authorization: Bearer $GROQ_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "openai/gpt-oss-120b",
"messages": [{"role": "user", "content": "ping"}],
"stream": true
}'Лимиты у Groq считаются по запросам в минуту, токенам в минуту и токенам в сутки — конкретные значения зависят от модели и тарифа и меняются, поэтому в тексте мы их не фиксируем: актуальные цифры всегда в консоли GroqCloud и в разделе rate limits документации. Практическое правило одно: ошибку 429 нужно обрабатывать повтором с экспоненциальной задержкой, а не падением агента.
Типовые ответы, которые стоит различать: 401 — ключ неверный или отозван; 404 — модель переименована или недоступна аккаунту; 413 — слишком длинный запрос; 429 — лимит; 5xx — проблема на стороне провайдера, помогает повтор. Отдельно бывает 403 на уровне сети: в этом случае до API просто не доходит запрос, и ретраи не помогут.
Контекст в 131 072 токена — не значит «отправляйте столько». У длинного запроса выше цена и хуже качество на задачах извлечения: модель начинает терять середину. Для агентов практичнее держать рабочий контекст в 8–16 тыс. токенов и выносить историю в память.
Поскольку протокол OpenAI-совместимый, почти любой инструмент, умеющий «свой base URL», работает с Groq без плагинов. Ниже — что именно менять в типовых сценариях.
| Инструмент | Что поменять | Нюанс |
|---|---|---|
| OpenAI SDK (Python/JS) | base_url + api_key | Имена моделей с префиксом провайдера, как в каталоге |
| LangChain / LlamaIndex | base_url в ChatOpenAI / OpenAI-коннекторе | Тулзы и structured output поддерживаются как у OpenAI-совместимых |
| CLI-агенты с кастомным провайдером | OPENAI_BASE_URL и OPENAI_API_KEY | Проверьте, что харнесс не форсит свой список моделей |
| Локальные прокси (LiteLLM и аналоги) | запись провайдера groq | Удобно для фолбэка между провайдерами |
| n8n / Zapier-сценарии | HTTP-узел на /chat/completions | Заголовок Authorization: Bearer |
Если вы собираете агента с инструментами, учтите: имена моделей в Groq отличаются от OpenAI, поэтому конфиг придётся поправить в двух местах — в клиенте и в списке разрешённых моделей агента. Ошибка «model not found» почти всегда означает именно это, а не сбой авторизации.
Доступ и оплата решаются по отдельности. Доступ — это маршрут до api.groq.com: без него запросы не уходят вообще (наш тест 30.10.2026 вернул 403). Оплата — это пополнение баланса аккаунта GroqCloud, и карта «Мир» напрямую у зарубежного провайдера не проходит: рублёвый платёж проводит посредник, а не сам сервис.
Практический порядок действий: сначала убедиться, что API отвечает (хотя бы 401 вместо 403 — это уже признак, что запрос дошёл), затем пополнить баланс через выбранный канал и только после этого строить на Groq что-то продакшен-критичное. Фиксированной «цены для России» нет — итог = тариф в долларах по курсу плюс комиссия канала.
Разбор способов оплаты и тарифов — на отдельных страницах: оплата Groq Platform из России, сколько стоит подписка и обзор платформы. Общая методика выбора посредника — в гайде проверенные сервисы оплаты AI.