Quand une automatisation casse un vendredi soir

Un lundi matin de printemps, un client nous appelle : aucun devis n'est parti depuis vendredi 18 h. Le flux tournait depuis six mois sans incident. Personne n'avait rien vu pendant soixante heures.

Ce qui s'est passé

L'éditeur de la messagerie avait modifié, sans prévenir, le format d'un champ dans son interface. Le flux recevait toujours les demandes, mais ne savait plus lire l'adresse de l'expéditeur. Chaque exécution échouait proprement, en silence.

Pourquoi personne n'a rien vu

Le flux enregistrait bien ses échecs. Mais personne ne lisait ce journal le week-end, et aucune alerte n'était prévue pour ce cas précis : on surveillait les pannes franches, pas les erreurs répétées.

Une automatisation qui échoue en silence est pire qu'une tâche faite à la main : à la main, au moins, on sait qu'elle n'est pas faite.

Ce qu'on a changé

• Toute erreur répétée plus de trois fois déclenche une alerte dans le canal de l'équipe, avec l'étape en cause et un exemple de données.
• Un flux qui ne traite aucune demande pendant une durée anormale déclenche aussi une alerte : le silence est devenu un signal.
• Les demandes en échec sont mises de côté, puis rejouées automatiquement une fois la correction faite.

Ce qu'on en retient

Une automatisation casse un jour : un format évolue, une interface change, un mot de passe expire. La question n'est pas d'éviter la panne, c'est de la voir dans l'heure et de ne rien perdre en attendant. C'est pour ça que la maintenance fait partie de chaque flux qu'on met en service, et pas d'une option.