Timestral: обзор семейства моделей прогноза временных рядов от Mistral

01Что такое Timestral и чем он отличается от ARIMA

Классические модели (ARIMA, линейная регрессия, экспоненциальное сглаживание) обучаются на одном ряду и знают только его историю. Глубокие модели вроде PatchTST умеют ловить нелинейные зависимости, но их всё равно тренируют с нуля на каждом новом датасете — переноса знаний между доменами нет. TSFM добавляют к этому третью ступень: модель предобучена на большом корпусе разнородных рядов и потому прогнозирует zero-shot — без обучения на ваших данных, в том числе там, где истории мало.

Mistral описывает Timestral как «первое семейство TSFM» в своей линейке. Технически это patch-based transformer с двумя типами внимания — по времени и по вариатам (time attention и variate attention), 24 слоя, размерность эмбеддинга 768, патч — 32 шага. Вход делится на целевые вариаты, past-only ковариаты и known-future ковариаты; категориальные признаки кодируются target-encoding, пропуски помечаются как NaN и не ломают прогноз.

02Бенчмарки: где именно Timestral первый

Mistral заявляет первое место среди предобученных zero-shot моделей сразу по пяти метрикам на трёх публичных лидербордах: GIFT-Eval (GMean MASE и GMean WQL), TIME (GMean MASE и GMean CRPS) и fev-bench (SQL skill score). Результат получен одним чекпоинтом, без ансамблей — это важная деталь: многие верхние строчки лидербордов собираются смешиванием нескольких моделей.

03Четыре размера: чем платят за точность

Все четыре чекпоинта делят одну архитектуру и один рецепт обучения, различаются только число параметров, размер файла и латентность. Разница в качестве между 5M и 209M существует, но она нелинейна: от 5M к 28M MASE падает на 0,027, от 28M к 123M — ещё на 0,019, а от 123M к 209M — всего на 0,001. То есть за последний шаг вы платите в 1,7 раза большим файлом и почти четырёхкратной латентностью, а выигрываете в точности практически ничего.

04Как устроен прогноз: от патчей к квантилям

Ключевое техническое отличие Mistral называет Decoupled Horizon Forecasting (DHF). У причинных декодеров в стиле Toto 2.0 и TimesFM 3 значения, которые нужно предсказать, маскируются — и заодно выпадают из контекста для следующих шагов. DHF разделяет эти роли: полная история остаётся в последовательности, а обученные forecast-токены читают её перед собой. Каждое наблюдение работает и как цель, и как контекст, а настоящие пропуски остаются помеченными как пропуски.

Второй механизм — covariate-aware attention. Каждому ряду назначается роль (target, past-only covariate, known-future covariate); known-future признаки видны на всём окне, цели — только каузально, и информация течёт лишь от ковариат к целям. Поэтому календарь праздников или прогноз погоды можно подставить, не «подсматривая» будущее самой цели. Третий слой — данные: основная часть предобучения синтетическая (сгенерированные процессы с трендом, сезонностью и шумом, затем мультивариантный синтезатор), после чего модель дообучается на смеси реальных и синтетических рядов с контекстом вчетверо длиннее.

05Сравнение с Chronos-2, TimesFM 3 и t0-gamma

06Плюсы и минусы

07Кому подходит Timestral

Timestral имеет смысл, когда рядов много и они разнородные (тысячи датчиков, SKU, метрик), истории на каждый ряд мало, а выносить данные в облако нельзя. В этих условиях zero-shot модель на 28M параметров даёт прогноз без обучения, укладывается в память обычного сервера и легко встраивается в существующий пайплайн мониторинга. Если же у вас один-два ряда с длинной историей и стабильной сезонностью, ARIMA или градиентный бустинг на лагах часто не хуже — и объяснимее.

Второй сценарий — связка с языковой моделью: TSFM считает числа, LLM интерпретирует отклонения и пишет диагноз. Mistral описывает ровно такой сценарий для промышленности: Timestral ловит аномалию на насосе, агент ищет похожие исторические отказы по эмбеддингам, запускает подзадачи и формирует заключение со ссылками на журналы смен и наряды. Пошаговая инструкция по локальному запуску — в нашем гайде по прогнозированию временных рядов.