Human in the loop : comment organiser une validation humaine efficace de l'IA en entreprise

Le human in the loop (« humain dans la boucle ») désigne un fonctionnement où une personne examine ce que propose une IA et l'approuve, le corrige ou le refuse avant qu'il ne produise un effet : un email envoyé, un dossier modifié, une décision prise. C'est le garde-fou le plus cité dès qu'un agent IA peut agir. C'est aussi l'un des plus fragiles : une validation qui se réduit à un clic répété cent fois par jour ne protège plus rien.

Ce guide répond à trois questions pratiques : quelles actions soumettre à une validation humaine, quoi montrer à la personne qui valide, et comment éviter que la vigilance ne s'use. Il s'appuie sur la recherche en facteurs humains, sur les textes (RGPD, AI Act) et sur les recommandations de l'ANSSI, puis propose une méthode en sept étapes. Il appartient à notre série sur le deuxième cerveau, l'IA agentique et l'IA en environnement réglementé, et prolonge le guide sur les niveaux d'autonomie d'un agent IA.

Human in the loop, on the loop, contrôle a posteriori : définitions

L'expression recouvre en pratique plusieurs places possibles pour l'humain. Les confondre conduit à croire qu'un système est « supervisé » alors qu'il agit seul. Le Contrôleur européen de la protection des données (CEPD) définit la supervision humaine comme l'implication active d'au moins une personne qui suit le fonctionnement du système, évalue ses décisions et peut intervenir ; il la dit « significative » lorsqu'elle améliore réellement la qualité des décisions, au lieu d'être une formalité (TechDispatch n° 2/2025, septembre 2025).

Ces modes se combinent. Une organisation sérieuse les emploie tous les quatre, chacun pour une catégorie d'actions. Ils correspondent aux niveaux d'autonomie décrits pour un agent : plus l'humain est placé tard dans la chaîne, plus l'agent est autonome.

Valider n'est pas relire. La relecture porte sur la forme d'un texte. La validation porte sur un effet : elle engage celui qui approuve, au même titre que s'il avait agi lui-même. Elle suppose donc qu'il dispose des éléments pour juger et du pouvoir de dire non. Elle se distingue aussi de la vérification des réponses d'une IA, qui porte sur l'exactitude d'une information : on peut vérifier une réponse sans qu'aucune action ne suive.

Pourquoi la validation humaine échoue : biais d'automatisation et fatigue d'approbation

Ajouter un humain dans la boucle ne suffit pas à rendre un système sûr. Le CEPD range parmi les idées reçues l'hypothèse que la simple présence d'un contrôleur neutralise le risque, ainsi que la sous-estimation du biais d'automatisation. Trois mécanismes expliquent l'écart entre la validation prévue et la validation réelle.

1. Le biais d'automatisation

Le biais d'automatisation est la tendance à suivre la proposition d'un système automatisé sans la vérifier, ou malgré des indices contraires. Il produit deux types d'erreurs : l'omission (on ne voit pas un problème parce que le système ne l'a pas signalé) et la commission (on applique une proposition fausse). La recherche en facteurs humains le documente de longue date. Une synthèse de référence (Parasuraman et Manzey, Human Factors, 2010) montre qu'il touche aussi les experts et ne disparaît pas avec l'entraînement. Une revue systématique dans le domaine médical (Goddard, Roudsari et Wyatt, JAMIA, 2012) relève qu'il s'accentue avec la charge de travail et la confiance accordée au système.

Avec l'IA générative, le risque prend une forme particulière : un texte fluide, bien construit et assorti de références paraît fiable même lorsqu'il ne l'est pas. L'OWASP classe cette confiance excessive parmi les risques propres aux applications de grands modèles de langage (LLM09:2025, désinformation).

2. La fatigue d'approbation

La fatigue d'approbation apparaît quand les demandes de validation sont si nombreuses que la personne les traite par réflexe. Le phénomène est bien décrit dans les logiciels de prescription médicale, où les alertes de sécurité sont contournées dans 49 % à 96 % des cas selon les études recensées par van der Sijs et al. (JAMIA, 2006). La cause n'est pas la négligence : la plupart des alertes étaient jugées non pertinentes, si bien que les rares alertes importantes se perdaient dans la masse.

Le parallèle avec un agent IA est direct (c'est une analyse, pas une mesure) : un agent qui demande l'accord pour chaque action, y compris les plus anodines, apprend à son utilisateur à cliquer « valider » sans lire. Le jour où une proposition est fausse, ou manipulée par une injection de prompt cachée dans un email entrant, elle passe avec les autres.

3. La validation de façade

Troisième échec : une validation qui existe sur le papier mais que la personne ne peut pas exercer. Elle n'a pas le temps, pas l'information, pas la compétence, ou pas l'autorité pour refuser. Les lignes directrices européennes sur les décisions automatisées (WP251 rév.01, reprises par le CEPD) parlent de « geste symbolique » : l'intervention humaine doit être significative et confiée à une personne qui a l'autorité et la compétence pour modifier la décision.

Ce que disent les textes : RGPD, AI Act, ANSSI et professions réglementées

Aucun texte n'impose un « human in the loop » général pour toute IA d'entreprise. Plusieurs textes en fixent toutefois l'exigence ou l'esprit pour certains usages, et ils convergent sur un point : la validation doit être réelle.

Le cas des professions réglementées. Pour un conseiller en gestion de patrimoine, un avocat ou un expert-comptable, la question se pose moins en termes d'article 22 qu'en termes de responsabilité professionnelle : le devoir de conseil, l'évaluation de l'adéquation ou le secret pèsent sur le professionnel, quel que soit l'outil utilisé. L'ESMA l'a rappelé dans sa déclaration du 30 mai 2024 sur l'IA dans les services d'investissement : l'utilisation d'outils d'IA ne change rien aux obligations de l'entreprise, dont l'organe de direction reste responsable. Dans ces métiers, la validation humaine n'est pas une option de confort ; c'est la condition pour que l'acte reste celui du professionnel. Le volet secret et confidentialité est traité dans notre guide sur l'IA et le secret professionnel.

Quelles actions soumettre à validation : une grille en quatre questions

Tout valider revient à ne rien valider. Le tri se fait action par action, avec quatre questions simples :

1. L'action sort-elle de l'organisation ? Un email, un message, un document transmis, une publication ne se rattrapent pas.
2. Est-elle réversible ? Une note interne se corrige ; une suppression, un envoi ou un ordre transmis, non.
3. Engage-t-elle l'organisation ou produit-elle un effet sur une personne ? Conseil, refus, tarif, signature, paiement, modification d'un profil client.
4. Porte-t-elle sur des données sensibles ou couvertes par le secret ? Santé, situation familiale, patrimoine, vigilance LCB-FT.

Une seule réponse « oui » aux questions 1 à 3 suffit pour exiger une validation unitaire avant exécution. La question 4 durcit le contrôle (valideur habilité, journal détaillé) et renvoie aux droits d'accès et au cloisonnement. Le tableau suivant propose une grille de départ, à adapter.

Cette grille se reporte directement dans la charte d'usage de l'IA, qui fixe tâche par tâche le niveau d'autonomie autorisé. Elle évolue : une action peut descendre d'un cran après plusieurs mois sans erreur, jamais l'inverse sans incident analysé.

Quoi montrer à la personne qui valide : l'écran de validation

La qualité d'une validation dépend d'abord de ce que la personne voit. Le CEPD insiste sur l'accès aux informations utiles et sur des interfaces claires. Concrètement, un bon écran de validation répond à sept questions sans obliger à ouvrir d'autres fenêtres :

• Quoi exactement ? Le texte ou la modification tels qu'ils seront envoyés ou enregistrés, pas un résumé.
• Pour qui ? Le destinataire ou le dossier concerné, en clair, pour repérer une erreur d'homonyme.
• Sur quelle base ? Les sources utilisées (email, compte rendu, pièce du dossier), consultables d'un clic.
• Qu'est-ce qui change ? Pour une mise à jour, la valeur avant et après, mise en évidence.
• Qu'est-ce qui est incertain ? Les informations manquantes, contradictoires ou anciennes, signalées plutôt que masquées.
• Qu'est-ce qui l'a déclenché ? Une demande de l'utilisateur, une échéance, un message entrant : ce dernier cas appelle plus de prudence.
• Que puis-je faire ? Valider, corriger, refuser, avec un refus aussi simple qu'une approbation.

Ce qu'il faut éviter. Un bouton « tout valider » pour des actions externes ; une proposition présentée comme déjà faite ; une validation par défaut (l'action part si personne ne réagit) ; un écran qui affiche une note de confiance chiffrée sans expliquer sur quoi elle repose. Ce dernier point est une prudence plus qu'une règle : une jauge de confiance peut aider, mais elle peut aussi renforcer le biais d'automatisation si elle est lue comme une garantie.

La citation des sources est le cœur du dispositif. Une proposition sans source oblige le valideur à tout refaire ou à faire confiance ; une proposition sourcée lui permet de vérifier en quelques secondes ce qui compte. Nous détaillons les niveaux de traçabilité d'une réponse dans le guide sur la fiabilité des réponses d'une IA d'entreprise.

Éviter la fatigue d'approbation : réduire, regrouper, mesurer

On ne combat pas la fatigue d'approbation en demandant plus d'attention, mais en réduisant le nombre de décisions demandées et en vérifiant que celles qui restent sont réellement prises.

• Réduire. Appliquer la grille de la section précédente : seules les actions externes, irréversibles ou engageantes passent en validation unitaire.
• Regrouper. Les actions internes réversibles se valident par lot, à heure fixe, plutôt qu'au fil de l'eau par notifications.
• Répartir. Confier la validation à celui qui connaît le dossier, pas systématiquement au dirigeant ; prévoir un suppléant habilité pendant les absences.
• Laisser le temps. Le CEPD recommande d'allouer un temps suffisant aux tâches de revue ; une validation coincée entre deux rendez-vous est une validation de façade.
• Former. Montrer aux valideurs des erreurs typiques de l'IA (homonyme, information périmée, source mal comprise) pour qu'ils sachent où regarder.

Mesurer la vigilance. Quelques indicateurs simples, tirés du journal des validations, suffisent à repérer une boucle qui s'use :

Ces indicateurs supposent une journalisation des propositions, des validations et des refus, que l'ANSSI recommande par ailleurs (R29). Ils servent à piloter le dispositif, pas à surveiller les personnes : leur mise en place doit respecter les règles d'information des salariés (art. L. 1222-4 du Code du travail). Une pratique complémentaire consiste à soumettre de temps en temps aux valideurs, lors des formations, des propositions volontairement erronées pour vérifier qu'elles sont repérées ; c'est une piste à encadrer avec soin, pas une obligation.

Méthode en sept étapes et exemple d'un cabinet fictif

1. Lister les actions. Pour chaque usage de l'IA, écrire ce qu'elle produit ou fait réellement : lire, résumer, rédiger, modifier, envoyer.
2. Classer avec la grille. Externe, irréversible, engageante, sensible : en déduire le mode de contrôle de chaque action.
3. Nommer les valideurs. Une personne compétente et habilitée par type d'action, un suppléant, et le droit explicite de refuser.
4. Concevoir ou choisir l'écran de validation. Vérifier les sept questions de la section 5 ; exiger du fournisseur qu'il montre l'écran sur des cas réels avant achat.
5. Journaliser. Proposition, sources, décision, modification éventuelle, auteur et date.
6. Mesurer après quelques semaines. Taux de validation sans modification, délais, erreurs trouvées en contrôle a posteriori.
7. Ajuster le niveau d'autonomie. Alléger le contrôle d'une action qui ne pose plus de problème ; le renforcer après tout incident. Ces paliers suivent la logique du déploiement progressif de l'IA.

Illustration. Prenons un cabinet de conseil en gestion de patrimoine fictif de quatre personnes, qui confie trois tâches à un assistant d'IA. La préparation des rendez-vous (synthèse du dossier et des derniers échanges) reste une lecture pour soi : pas de validation unitaire, mais des sources affichées pour chaque affirmation. Les relances clients rédigées par l'IA passent par une validation unitaire du conseiller titulaire du dossier, qui voit le texte exact, le destinataire et l'échange à l'origine de la relance. Enfin, le cabinet décide que l'IA peut proposer une mise à jour de la situation patrimoniale après un rendez-vous, mais que toute modification du profil de risque ou de la connaissance client relève du conseiller, motif à l'appui, parce qu'elle conditionne l'évaluation de l'adéquation.

Au bout d'un mois, le journal montre que les relances sont validées sans modification dans la grande majorité des cas, mais qu'une relance est partie avec une échéance périmée. Le cabinet ne supprime pas la validation : il ajoute à l'écran la date de la source utilisée et corrige la donnée à l'origine de l'erreur. C'est le sens de la méthode : la boucle s'améliore par l'analyse des erreurs, pas par l'ajout de clics.

Où se place Brain. Majors Brain, le deuxième cerveau du cabinet proposé par Majors, repose sur ce schéma de proposition puis de validation. Selon sa page d'usage, Brain prépare des relances et des brouillons dans le ton du cabinet, donne des réponses sourcées à partir des données du cabinet, et le conseiller valide ou refuse avant toute exécution. La page sécurité mentionne des droits d'accès par collaborateur et par périmètre et une traçabilité des usages. La méthode applique la même exigence en amont : « Tant qu'une réponse n'est pas juste et sourcée, on ne passe pas à la suite », et automatiser n'est qu'une des étapes possibles, jamais une obligation. La grille et les indicateurs de ce guide restent à appliquer par le cabinet, avec Brain comme avec tout autre outil.