L'agent qui avait raison trop souvent

Et si, demain, le plus grand risque n'était pas que l'IA se trompe ?

Mais qu'elle ait raison trop souvent.

Pensez au GPS.

Au début, on vérifie l'itinéraire.
On regarde les panneaux.
On garde une idée du trajet.

Puis, parce qu'il fonctionne presque toujours, on finit par le suivre sans trop le challenger.

Jusqu'au détour absurde.
La route fermée.
Le chemin impraticable.

Ce glissement vers la confiance automatique, on commence déjà à le retrouver avec les agents IA.

Dans cette scène fictive, une équipe supply chain pilote ses flux depuis une salle de supervision.

Sur le grand écran, tout est vert.

Stock OK.
Flux stable.
Prévision fiable.
Confiance de l'agent IA : 98 %.

L'agent IA recommande de valider le plan.

Personne ne panique.
Personne ne doute vraiment.
Quelqu'un s'apprête à cliquer sur "Valider" d'un geste automatique.

Et pourtant, dans un coin de l'écran, un signal rouge indique une rupture locale probable.

Un cas atypique.
Une exception.
Un détail que l'agent a peut-être sous-estimé.
Ou que l'équipe ne sait plus regarder.

C'est là que le sujet devient intéressant.

Le problème n'est pas seulement l'erreur de l'IA.

C'est l'économie cognitive qu'elle rend possible.

Quand un outil fonctionne bien, nous avons tendance à lui déléguer plus que la tâche.
Nous lui déléguons aussi une partie de notre attention.
Une partie de notre doute.
Une partie de notre vigilance métier.

Les pilotes d'avion utilisent l'autopilote.
Mais ils continuent à s'entraîner à reprendre la main.
Ils travaillent sur simulateur.
Ils répètent les pannes rares.
Ils gardent vivants des réflexes dont ils n'ont presque jamais besoin.

Peut-être faudra-t-il inventer la même chose dans les organisations augmentées par l'IA.

Des simulateurs de doute : des scénarios où l'agent affiche un score de confiance élevé, mais où une exception est cachée dans les détails.

Des séances de contre-enquête : demander à l'équipe de chercher ce qui pourrait invalider la recommandation IA avant de la valider.

Des exercices de reprise en main : des séquences où l'équipe travaille avec un agent IA limité, silencieux ou socratique, qui ne donne pas immédiatement la réponse.

Car demain, il ne suffira pas de former les équipes à utiliser les agents IA.

Il faudra aussi les entraîner à garder les bons réflexes quand l'IA fonctionne trop bien.

Pas avec de grands principes affichés dans une charte.

Mais avec des exercices réguliers.

Des moments courts, concrets, répétés, où l'on muscle le doute comme un geste métier.

C'est peut-être cela, le prochain enjeu des organisations augmentées :

ne pas seulement automatiser les décisions,

mais créer les rituels qui nous empêchent de devenir passifs face à elles.

Alors la question est simple :
Quels rituels d'entraînement devons-nous mettre en place dès aujourd'hui pour muscler notre vigilance ?