Как оценивать и тестировать AI-агентов: evals, трейсы и метрики

01Почему обычные тесты не ловят проблемы агентов

Юнит-тест проверяет детерминированную функцию: вход → ожидаемый выход. Агент недетерминирован: та же задача может быть решена двумя разными цепочками вызовов, а третий прогон упадёт на таймауте инструмента. Поэтому в оценке агентов появляются три вещи, которых нет в классическом тестировании.

• Траектория важнее ответа. Агент может вернуть правильную цифру, но получить её вызовом платного API 40 раз. Такой прогон считается неуспешным по стоимости и задержке, хотя ответ формально верный.
• Метрика — тоже модель. Оценка «правильно ли агент ответил» часто делается LLM-судьёй, и судья ошибается. Его нужно валидировать на размеченной людьми выборке, иначе вы измеряете мнение другого промпта.
• Данные приходят из продакшена. Тест-сет собирается из реальных трейсов: то, что придумано в блокноте, почти всегда легче реальности.
• Регрессия тихая. Смена версии модели или системного промпта может незаметно ухудшить 3% кейсов — без автоматического прогона это всплывёт через месяц в поддержке.

Отсюда практическое правило: сначала включается трейсинг (он даёт данные), потом строится датасет, и только затем добавляются метрики и гейты. Команды, которые начинают с дашборда метрик без трейсов, через месяц обнаруживают, что не могут объяснить ни одну цифру.

02Четыре уровня проверки

03Инструменты: что показывают цифры

Рынок разделился на три группы: платформы наблюдаемости (Langfuse, Phoenix), фреймворки тестов (promptfoo, DeepEval, OpenAI Evals) и транспорт телеметрии (OpenLLMetry на OpenTelemetry). Звёзды на GitHub — грубая, но проверяемая метрика зрелости сообщества: она показывает, куда идут контрибьюторы, и не показывает, подходит ли инструмент вашей задаче.

04Сколько стоит облако и когда хватает self-host

На 31.10.2026 у Langfuse опубликован прайс и две модели развёртывания: облако с бесплатным тарифом и self-hosted, который вы ставите сами (Docker Compose, Kubernetes или Terraform). Единица тарификации — «юнит»: в него складываются трейсы и оценки, а не только запросы. Для пилота из пары тысяч прогонов в месяц бесплатного тарифа обычно достаточно, для продакшена смотрите на число юнитов и срок хранения данных.

У платформы есть отдельный сигнал зрелости: в 2026 году Langfuse вошёл в состав ClickHouse — об этом заявлено прямо на странице тарифов. Для пользователя это означает ставку на хранение и запросы к большим объёмам трейсов, а не на «ещё один дашборд». Практический вывод: если у вас уже есть опыт с ClickHouse, self-hosted вариант предсказуем по эксплуатации.

05Порядок внедрения: от нуля до гейта в CI

# OpenTelemetry-экспорт: трейсы уходят в выбранный бэкенд
OTEL_EXPORTER_OTLP_ENDPOINT=http://localhost:4318
OTEL_SERVICE_NAME=hr-agent

{
  "case_id": "c-1042",
  "input": "...",
  "expected": "...",
  "tags": ["screening", "multiturn"]
}

-- CI: прогон набора перед деплоем
promptfoo eval -c evals/agent.yaml --max-concurrency 4