Il existe un moment très satisfaisant dans un projet de modélisation : le score sur les données de test est bon, le graphique est convaincant, et tout le monde considère le travail comme terminé. Il commence à peine.
Un modèle qui tourne sur un poste de travail avec un fichier figé n’a rien à voir avec un modèle qui tourne tous les matins sur des données réelles, arrivées en retard, incomplètes ou dans un format légèrement différent.
Les six écarts
1. Les données d’entrée ne sont plus les mêmes. En expérimentation, on travaille sur un extrait propre. En production, il faut aller chercher la donnée là où elle vit, avec ses valeurs manquantes et ses retards de mise à jour.
2. Le calcul doit se refaire tout seul. Ce qui était lancé à la main devient une tâche planifiée, qui doit signaler ses échecs plutôt que de rester silencieuse.
3. Le résultat doit arriver quelque part. Un score qui reste dans un fichier ne sert à rien. Il doit apparaître dans l’outil où la décision se prend, au moment où elle se prend.
4. Il faut pouvoir revenir en arrière. Chaque version du modèle doit être conservée, avec les données sur lesquelles elle a été construite. Sans cela, aucune anomalie n’est explicable trois mois plus tard.
5. Quelqu’un doit pouvoir l’éteindre. Un interrupteur simple, accessible sans développeur, qui rebascule sur la règle métier précédente. C’est ce qui rend le déploiement acceptable.
6. Les prédictions doivent être conservées. Sans historique des prédictions faites, on ne peut jamais comparer ce qui était annoncé à ce qui s’est produit, donc jamais évaluer le modèle en conditions réelles.
La dérive, ennemi silencieux
Un modèle ne se dégrade pas d’un coup. Il se dégrade lentement, parce que le monde change : une nouvelle gamme, un changement de logiciel, une clientèle qui évolue. Le modèle continue à produire des chiffres d’apparence normale, et personne ne remarque rien.
Deux surveillances suffisent à s’en prémunir. La première compare la distribution des données d’entrée à celle de l’apprentissage : une variable dont la moyenne se déplace est un signal. La seconde compare les prédictions aux résultats réels dès qu’ils sont connus.
La seconde est la seule qui compte vraiment, mais elle arrive en retard : si l’on prédit à trois mois, on saura dans trois mois. D’où l’utilité de la première, qui alerte plus tôt.
Ce qui est surestimé
La performance au moment de la mise en ligne. C’est le meilleur score que le modèle atteindra jamais : il a été construit sur des données récentes, dans un contexte stable. La question intéressante n’est pas « quel score aujourd’hui » mais « au bout de combien de temps faudra-t-il le reconstruire, et qui s’en apercevra ».
Nous livrons le modèle avec sa surveillance et son interrupteur, dans notre prestation de modèles prédictifs.