Séries temporelles : adieu l'entraînement sur mesure

Voici une affirmation qui vous aurait valu les moqueries de n'importe quelle équipe de prévision il y a cinq ans : pour la plupart des problèmes de séries temporelles, entraîner un modèle sur vos propres données est aujourd'hui une perte de temps. Un modèle de fondation pour séries temporelles, entraîné sur des millions de séries que vous ne verrez jamais, dans des domaines qui ne sont pas les vôtres, battra probablement votre pipeline soigneusement réglé, en zero-shot, le temps d'un seul passage avant sur CPU. Timestral de Mistral, publié cette semaine en tailles allant de 5 M à 209 M de paramètres, est la dernière et la plus solide preuve que le domaine est arrivé là. Et je pense que beaucoup de praticiens vont résister à cette conclusion, pour des raisons tout à fait compréhensibles, mais surtout fausses.

Ce qu'est vraiment un modèle de fondation pour séries temporelles

L'analogie avec les LLM est utile, à condition d'aller au-delà de la surface. Un grand modèle de langage est pré-entraîné sur un immense corpus de textes pour pouvoir généraliser à des tâches et à des formulations qu'il n'a jamais vues. Un modèle de fondation pour séries temporelles (TSFM) fait la même chose avec des signaux continus : il est pré-entraîné sur une vaste collection diversifiée de séries, réelles et synthétiques, afin d'apprendre la grammaire récurrente des données temporelles. Tendances, saisonnalité, ruptures de régime, retour à la moyenne, bruit sous toutes ses formes. Quand vous lui donnez votre flux de capteurs ou votre historique de ventes, il n'apprend pas depuis zéro : il reconnaît.

Ce dernier mot est toute l'astuce, et il explique ce qui m'a intrigué à la première lecture : comment un modèle entraîné surtout sur des données synthétiques peut-il battre des modèles entraînés sur des données réelles ? Parce que les générateurs synthétiques sont conçus pour produire des processus à la dynamique cohérente, avec des combinaisons réalistes de tendance, de saisonnalité et de bruit, plus des dépendances non linéaires entre les séries. Le modèle apprend un a priori énorme sur ce à quoi peut ressembler un comportement temporel. Vos séries réelles, aussi étranges que vous les trouviez, sont presque certainement une recombinaison de motifs qu'il a vus un million de fois.

La recette d'entraînement de Timestral rend cela concret. D'abord, un pré-entraînement à grande échelle sur des données purement synthétiques, avec un contexte de 8 192 pas de temps. Ensuite, un post-entraînement sur un mélange de données réelles et synthétiques, avec un contexte étendu à 32 768 pas. L'objectif est une perte pinball sur 21 quantiles, ce qui signifie que le modèle ne produit pas une estimation ponctuelle : il produit une distribution d'incertitude complète. Vous obtenez donc une prévision accompagnée de barres d'erreur honnêtes, et non un seul chiffre affiché avec assurance.

Un détail d'architecture qui mérite d'être retenu pour votre modèle mental : Timestral utilise ce que Mistral appelle la prévision à horizon découplé. Les décodeurs causaux antérieurs, comme TimesFM, masquent les valeurs à prévoir. C'est simple, mais gaspilleur : les valeurs masquées deviennent invisibles comme contexte, si bien que chaque prévision dégrade l'entrée des prévisions suivantes. Timestral conserve l'historique complet dans la séquence et ajoute des jetons de prévision appris qui lisent cet historique. Chaque valeur observée sert à la fois de cible d'entraînement et de contexte. C'est le genre de petite correction structurelle qui ne semble pas spectaculaire, mais qui compte énormément à grande échelle.

Prévision zero-shot : pourquoi elle bat votre pipeline série par série

L'argument le plus fort en faveur des TSFM n'est pas le classement des benchmarks, c'est la forme du travail de prévision réel. Presque personne ne prévoit une seule série. Vous en prévoyez dix mille. Un distributeur prévoit la demande par référence et par magasin. Une équipe plateforme prévoit la latence par service et par région. Une usine industrielle a des milliers de capteurs répartis sur des centaines d'équipements. Les options classiques sont toutes mauvaises : ajuster un ARIMA par série et voir la plupart échouer parce que chaque série a un historique trop mince, ou entraîner un unique modèle global à gradient boosting et s'enliser dans l'ingénierie de caractéristiques et les écarts d'échelle entre les séries.

Un TSFM contourne ce dilemme. Un seul checkpoint, pas d'ajustement par série, et la connaissance inter-séries est intégrée dès le pré-entraînement, au lieu d'avoir à être découverte uniquement à partir de vos données. C'est pourquoi les praticiens qui font réellement de la prévision à grande échelle sont généralement les moins sceptiques face à ces modèles. L'alternative n'est pas un modèle élégant réglé à la main, mais un tas de tâches AutoARIMA qui prennent des heures et cassent silencieusement sur les 5 % étranges de séries qui comptent le plus.

La partie efficacité est celle qui m'a le plus surpris. Le plus grand modèle de Timestral fait 209 M de paramètres, minuscule selon les standards des LLM, et il n'a pas besoin de GPU à l'inférence. Sur un serveur CPU standard à 8 threads, la prévision à un jour à partir de trois semaines de données au quart d'heure prend 10 ms avec le modèle 5 M et 140 ms avec le 209 M. Le modèle 123 M se situe à moins de 0,2 % du score de référence du grand modèle, pour les trois quarts de sa latence. Cela reflète ce qui s'est passé avec les modèles de langage, où l'action intéressante s'est déplacée vers des niveaux petits et rapides. C'est la même dynamique que j'ai abordée dans notre article sur les LLM de niveau flash : le modèle de pointe fait les gros titres, le petit modèle efficace fait tourner l'entreprise.

Et l'économie se cumule. Dix mille séries multipliées par une prévision quotidienne à quelques dizaines de millisecondes chacune, cela signifie que toute votre charge de prévision tient dans une pause déjeuner sur une machine CPU banale. Pas de cluster GPU, pas de job d'entraînement distribué, pas d'héroïsme MLOps. Il y a cinq ans, construire et déployer un modèle de prévision correct prenait des mois. Aujourd'hui, c'est un après-midi, et une grande partie de cet après-midi est de la plomberie de données, pas de la modélisation.

Les covariables sont la vraie caractéristique, et le vrai piège

Ici, je concède du terrain aux sceptiques, car la critique la plus vive des TSFM est juste : pour de nombreux problèmes, l'historique de la série cible ne représente qu'une part minoritaire de l'information. Si vous modélisez la demande électrique, les prévisions météo, le calendrier des jours fériés et la grille tarifaire ne sont pas un assaisonnement de la prévision : ce sont la prévision. Un modèle qui traite vos covariables soigneusement préparées comme une amélioration de qualité marginale est un modèle qui vous ridiculisera justement au moment où le régime change, c'est-à-dire au moment précis où vous en avez besoin.

La réponse de Timestral est une attention consciente des covariables, et sa conception est plus rigoureuse qu'il n'y paraît. Chaque série en entrée reçoit un rôle : cible, covariable passée uniquement, ou covariable future connue. Les covariables futures connues (plannings de production, arrêts programmés, prévisions météo) sont visibles sur toute la fenêtre, tandis que les cibles restent causales, et l'information ne circule que des covariables vers les cibles. Cette dernière contrainte est la plus importante : elle permet au modèle de conditionner sur la hausse de charge prévue la semaine prochaine sans laisser fuiter le futur propre de la cible dans la prédiction. La fuite de données via les covariables est l'une des défaillances silencieuses classiques des systèmes de prévision, et inscrire le sens du flux d'information dans le masque d'attention est une manière propre de l'empêcher.

Les covariables catégorielles sont aussi bien traitées. Un état de machine comme en marche, à l'arrêt ou en maintenance est injecté comme une catégorie, et non écrasé dans un entier arbitraire qui impose un faux ordre. Quiconque a vu un modèle à base d'arbres apprendre que « état 3 » est en quelque sorte supérieur à « état 2 » appréciera.

Mais remarquez ce que cela implique en pratique : la qualité d'un déploiement TSFM est désormais limitée par la qualité de vos pipelines de covariables, et non par votre modèle. Si votre flux météo est périmé, si votre calendrier des jours fériés oublie les fêtes régionales, et si personne n'a encodé le planning de maintenance sous une forme lisible par machine, le modèle ne pourra pas vous sauver. La modélisation a été banalisée ; l'ingénierie des données, elle, ne l'a pas été. Budgétez vos efforts en conséquence.

Benchmarks, et pourquoi vous devriez tester sur votre propre signal

Sur les trois principaux benchmarks publics (GIFT-Eval, TIME et fev-bench), le modèle de 209 M de Timestral se classe premier parmi les modèles pré-entraînés en zero-shot, avec un seul checkpoint et sans ensembling. Le modèle de 28 M surpasse, selon les informations, Chronos-2, qui est environ quatre fois plus grand. Ce sont des résultats vraiment solides, et le fait que chaque taille de la famille se trouve sur la frontière de Pareto précision-taille suggère que c'est la recette, et pas seulement l'échelle, qui fait le travail.

Maintenant, les réserves nécessaires. Les benchmarks de prévision ont un problème méthodologique profond : beaucoup de séries qu'ils contiennent sont des processus très bruités et pauvres en signal, où à peu près n'importe quel modèle raisonnable se comporte de la même façon, car il y a peu de signal à capturer. Si vous moyennez les scores sur des centaines de séries de ce type, vous compressez les vraies différences en marges minuscules, ce qui explique pourquoi on voit des graphiques marketing où une amélioration de 0,03 est dessinée pour ressembler à un écart de cinq fois. C'est une manifestation précise d'un mal plus général dont nous avons déjà parlé : les benchmarks passent systématiquement à côté du travail qui compte vraiment, et les benchmarks de prévision le ratent d'une manière particulièrement mesurable.

Le meilleur test, et vous pouvez le faire vous-même, consiste à construire des séries d'évaluation avec un rapport signal sur bruit connu et élevé, là où une méthode simple, comme les distributions conditionnelles empiriques, peut capturer l'essentiel du signal, puis à vérifier si le modèle de fondation le capture aussi. Ensuite, faites varier le niveau de bruit et observez où les performances se dégradent. Un modèle qui semble à l'état de l'art sur des benchmarks bruités mais laisse du signal évident sur la table dans des régimes propres vous dit quelque chose que le classement ne dira pas.

Sur des données bruitées, tous les modèles se ressemblent. Ils ne se départagent que lorsqu'il y a un vrai signal à capturer : testez donc là où se trouve le signal.

Là où les méthodes classiques gagnent encore

Mon affirmation d'ouverture a besoin de limites honnêtes, les voici. Il existe de vrais cas où vous ne devriez pas vous tourner vers un modèle de fondation.

• Vous avez besoin des équations, pas seulement des sorties. Si vous êtes opérateur de réseau électrique ou ingénieur en commande, vous avez souvent besoin d'un modèle dynamique interprétable, dont les paramètres ont un sens physique que vous pouvez raisonner, soumettre à des tests de charge et présenter à un régulateur. Un TSFM est une boîte noire : y = F(x, params), sans structure lisible. Un modèle d'état ajusté ou de type SINDy vous donne quelque chose qu'un réseau de neurones ne vous donnera jamais.
• Vous avez une série critique unique, avec un historique riche et long et une structure métier forte. Une seule série bien comprise, comme une charge électrique nationale avec des décennies de données, récompense un modèle sur mesure construit avec une connaissance du domaine. La généralité zero-shot est gaspillée quand vous n'avez qu'un seul problème et une expertise profonde dans ce domaine.
• Vos covariables dominent et vos relations sont stables et connues. Une régression linéaire sur les bonnes caractéristiques est transparente, débogable et, quand la physique du problème est réellement linéaire, imbattable. Ne payez pas une taxe de complexité sans gain.
• Vous devez maîtriser entièrement la dépendance. Timestral est distribué sous une licence MIT modifiée avec des restrictions. Si votre prévision est une infrastructure critique, comme les marchés d'énergie à J+1, vous devez bien réfléchir avant de dépendre du serveur d'un fournisseur ou d'une licence que vous ne contrôlez pas totalement. Les alternatives à poids ouverts et les modèles internes existent précisément pour ce cas.
• Vous avez des exigences strictes d'hygiène de backtesting. Avec un modèle pré-entraîné, vous ne pouvez jamais être totalement certain que votre période de backtest n'était pas dans le corpus d'entraînement, sauf si le fournisseur vous donne le contrôle du mélange d'entraînement. Mistral propose cela via son pipeline Forge, mais vérifiez-le plutôt que de le supposer.

Remarquez le schéma : le modèle de fondation gagne en largeur, en vitesse et sur les données rares ; il perd sur l'interprétabilité, la profondeur sur une série unique et le risque de dépendance. C'est une règle de décision réellement utile, et elle est plus tranchée que le habituel « ça dépend ».

La question d'architecture que tout le monde évite

Une chose que la vague des TSFM a réglée mérite plus d'attention : les transformeurs fonctionnent bien sur les signaux continus, et le problème de tokenisation s'est révélé moins effrayant que prévu. L'astuce est le patching. Plutôt que de traiter chaque pas de temps comme un jeton (ce qui fait exploser la longueur de séquence) ou d'encoder naïvement des flottants bruts, on découpe la série en segments (patches) et on les encode. La longueur des patchs devient un paramètre réglable qui arbitre entre résolution et contexte, exactement comme la taille du vocabulaire dans un LLM. Si vous avez suivi le débat entre modèles à espace d'états et transformeurs, il est notable que les TSFM gagnants soient pour l'instant majoritairement basés sur l'attention : la structure à longue portée des données temporelles semble bien s'accommoder de l'attention, une fois la représentation d'entrée fixée.

La stratégie de données synthétiques d'abord mérite autant de reconnaissance comme contribution. La majeure partie des données d'entraînement de Timestral a été générée, et non collectée : d'abord des processus univariés à la dynamique cohérente, puis un synthétiseur multivarié qui superpose des dépendances non linéaires entre eux. Cela contourne élégamment le problème de données qui hante l'apprentissage automatique sur les séries temporelles. Il n'existe pas de Common Crawl de données de capteurs, et ce qui existe est cloisonné, propriétaire et formaté de façon incohérente. Si des données synthétiques aux bons biais inductifs transfèrent aussi bien, cela change l'économie de tout le sous-domaine. Vous n'avez pas besoin d'accumuler la télémétrie du monde entier ; il vous faut de bons générateurs.

De la prévision au système

La conséquence à long terme la plus intéressante n'est pas le modèle, c'est ce qu'il permet en aval. Un prévisionniste probabiliste, multivarié et bon marché, qui tourne en continu sur vos métriques, est un détecteur d'anomalies à incertitude honnête : au lieu d'alerter quand une valeur franchit un seuil statique, vous alertez quand la réalité sort des quantiles prédits, ce qui donne des alertes qui respectent la saisonnalité et les événements planifiés. Une hausse de charge programmée est attendue, et non signalée comme une surprise. Cela seul éliminerait une fraction déprimante du bruit des astreintes dans la plupart des organisations.

Ajoutez un agent LLM par-dessus et vous obtenez le flux de travail que Mistral esquisse : le modèle numérique signale une anomalie sur une pompe, un agent compare les signaux aux embeddings des pannes passées, lance une analyse des causes racines sur les registres de maintenance et les notes des opérateurs, puis remet au responsable d'usine un diagnostic avec des preuves plutôt qu'une simple alerte. Que vous adhériez ou non à cette vision précise, la direction est saine. C'est le même schéma que celui de le décodage contraint pour les modèles de décision : garder le modèle rapide et spécialisé dans la boucle pour ce qu'il fait bien, et laisser le modèle généraliste orchestrer autour de lui.

Voici donc où je me situe. La prévision sur mesure n'est pas morte : elle a été rétrogradée de l'outil par défaut à l'outil de spécialiste. Si vous avez une seule série, une connaissance métier approfondie et besoin d'une dynamique interprétable, continuez à ajuster vos modèles d'état et dormez tranquille. Mais si vous avez des milliers de séries, peu d'historique par série et une équipe de trois personnes, la charge de la preuve s'est inversée : il vous faut désormais une raison de ne pas commencer par un modèle de fondation. Testez-le sur vos données à fort signal, branchez correctement vos covariables, vérifiez la licence au regard de votre tolérance au risque, puis consacrez les mois gagnés à la plomberie des données, là où les projets de prévision ont toujours été réellement gagnés ou perdus.