McKinsey a récemment publié un entretien avec Kate Smaje, responsable mondiale technologie et IA au sein du cabinet et coautrice de Rewired, aux côtés des senior partners Brooke Weddle et Bryan Hancock. Smaje y pose une question que la plupart des organisations ne se sont encore jamais vraiment posée : qui évalue réellement la performance de vos agents IA ? Les entreprises savent parfaitement recruter, développer, évaluer et faire sortir leur personnel humain. Sur la performance de ce que Smaje appelle le "nonhuman labor", la conversation interne a rarement eu lieu.
Les agents ont aussi besoin d'une politique de gestion
L'entretien part d'un constat simple. Les agents IA, comme les humains, ont besoin d'un encadrement sérieux. Des ingénieurs pour les corriger quand ils dérivent, du compute comme source d'énergie pour continuer à fonctionner, et une gestion claire du cycle de vie, car un agent ne peut exister indéfiniment sans entretien ni contrôle. Smaje a donné un nom à ce qui se passe en l'absence de cette gestion : le "abandonware". Des agents oubliés, obsolètes, qui continuent d'errer quelque part dans le réseau de l'entreprise, sans que personne ne sache plus vraiment ce qu'ils font ni pourquoi ils existent encore.
Ce problème, selon Smaje, n'est pas une question de technologie mais d'organisation. Beaucoup de dirigeants mesurent leur transformation des talents au nombre de nouveaux talents externes recrutés, alors que le vrai gain se trouve dans la manière de faire grandir les experts déjà en place, ceux qui connaissent déjà l'entreprise dans ses moindres détails. Smaje cite un client qui l'a formulé sans détour : "It is far easier for me to teach my metallurgists AI than for me to teach my AI specialists metallurgy."
La question qui compte vraiment : qui en est responsable ?
La déclaration la plus concrète de l'entretien porte sur la question de la responsabilité. Smaje est explicite : ce n'est pas au CTO ni à la direction informatique de gérer l'ensemble de la population d'agents d'une organisation. Ce sont les responsables métier qui déploient les agents dans leurs propres processus. Son exemple : le responsable finance qui encadre aujourd'hui les personnes en charge de la réconciliation et de la clôture mensuelle devra demain aussi encadrer les agents qui interviennent dans ce même processus. "I don't think this is a technology problem," dit-elle. "I don't think the CTO suddenly needs to manage half the organization's workforce."
Cela ne signifie pas pour autant une liberté totale. Il reste nécessaire de disposer de garde-fous, de standards et d'une gestion du cycle de vie partagés à l'échelle de toute l'organisation, sans quoi chaque processus finit par produire son propre abandonware. Mais la responsabilité quotidienne doit revenir à celui qui connaît déjà le processus, pas à un service informatique centralisé.
Pour les organisations, cette tension est familière. Dès que les agents IA passent du stade d'expérimentation à celui de la production, le réflexe est de les centraliser au sein de l'IT. Une logique compréhensible du point de vue de la maîtrise des risques, mais qui crée un vide de responsabilité. L'IT gère des systèmes dont il ne maîtrise pas le contenu métier. Le responsable du processus perçoit pourtant quand un agent se trompe, mais n'a aucun levier pour le corriger.
Que signifie cela concrètement pour la manière dont vous structurez et suivez vos agents ?
-
La responsabilité revient au processus, pas à l'IT. Celui qui encadre aujourd'hui les personnes dans un processus, en finance, au service clients ou aux achats, devra demain aussi encadrer les agents de ce même processus. L'IT met à disposition l'infrastructure et les garde-fous, mais le suivi quotidien revient au responsable du processus. Celui qui encadre les personnes dans un processus encadre aussi les agents de ce processus.
-
Formez vos métallurgistes à l'IA, pas l'inverse. La connaissance métier nécessaire pour bien évaluer un agent existe déjà en interne, chez les personnes qui exercent ce processus depuis des années. Il est plus efficace de les rendre compétentes en IA que d'apprendre à des spécialistes IA externes les subtilités de votre secteur. L'expertise est déjà là, la compétence IA vient s'y ajouter.
-
Des garde-fous partagés évitent l'abandonware. Une responsabilité partagée ne signifie pas que chaque département invente ses propres règles. Les standards de sécurité, de gestion des données et de cycle de vie doivent être définis de manière centrale, afin qu'un agent oublié ne continue jamais d'errer sans surveillance dans le réseau. La responsabilité partagée ne fonctionne qu'avec un cadre commun en dessous.
-
Le jugement humain devient la ressource rare. Smaje est claire à ce sujet : "The rise of AI doesn't mean we all suddenly delegate our responsibilities for quality control and critical thinking. That's not the world we live in. There's a premium on those capabilities now." Celui qui confie entièrement le contrôle qualité à l'agent délègue précisément le travail qui exige le plus de jugement. Plus un agent reprend de tâches, plus le jugement de celui qui reste au-dessus prend de valeur.
La vraie leçon
Chez Rescope, nous appelons cela depuis longtemps la responsabilité chez le client : Rescope accompagne, le client dirige. Ce que décrit Smaje relève de la même logique, appliquée aux agents. Ce n'est ni Rescope ni un service informatique qui gère l'ensemble de votre parc d'agents, mais vos propres Champions et leurs chefs d'équipe : les personnes qui connaissent déjà le processus. Ils apprennent à suivre leurs agents, à les corriger et, si nécessaire, à les désactiver. Le rôle de Rescope est d'aider à mettre en place les garde-fous et à transmettre la connaissance, pas de garder la main sur les commandes.
La question n'est donc plus de savoir si votre organisation utilise des agents IA. La plupart le font déjà, dans plus de processus que l'IT ne le soupçonne. La question est de savoir qui est aujourd'hui responsable de la performance de ces agents, et si cette personne connaît réellement le processus dans lequel ils opèrent.
Qui encadre les agents dans votre organisation ?