Dans le cadre des travaux de l’Observatoire IA de NeoMundi, nous publions aujourd’hui une contribution de James Moore, fondateur de Nova Jema AI Systems et spécialiste de la gouvernance des systèmes d’intelligence artificielle en conditions réelles d’exécution. Il a eu la gentillesse de nous transmettre une réflexion précise sur un sujet souvent négligé : une fois que l’on mesure le comportement d’une IA, comment s’assurer qu’un signal critique ne se transforme pas en action sans qu’une autorité humaine légitime ait été clairement identifiée et activée ?
Gouvernance humaine et à l’exécution en temps réel
Une IA peut produire une réponse stable ou instable, cohérente ou variable, factuellement solide ou fragile, ou difficile à interpréter. Les organisations disposent aujourd’hui d’outils pour détecter ces signaux : dérive, variation inhabituelle, risque factuel, rupture de cohérence ou couverture de mesure insuffisante. Cette capacité d’observation constitue un progrès réel. Elle rend visible ce qui, sans instrumentation, resterait invisible.
Cependant, une question essentielle reste souvent sans réponse claire : lorsqu’un signal apparaît, qui a le droit d’agir ? Qui porte la responsabilité si l’action se poursuit ? Qui peut suspendre, escalader ou arrêter le processus ?
C’est précisément à cette frontière que commence la gouvernance opérationnelle de l’IA.
Un signal n’est pas une autorité
NeoMundi observe en continu le comportement des systèmes IA en production : leur stabilité, leur variabilité, les signaux de risque, la cohérence, la validité, le coût et les conditions d’exécution. Cette mesure est indispensable, car elle permet de rendre lisible ce qui, autrement, resterait silencieux. Un signal de risque, cependant, ne décide rien par lui-même.
Une alerte ne sait pas qui est habilité à intervenir, ni qui porte la responsabilité finale d’une décision. Elle ne sait pas non plus si une réponse peut être envoyée à un client, si une action doit être suspendue, si une escalade humaine est obligatoire, ni si le contexte a évolué depuis la dernière validation.
C’est là le cœur de la contribution de James Moore :
les signaux runtime ne constituent pas une autorité. Ils fournissent des éléments de preuve qui doivent ensuite entrer dans une chaîne de gouvernance.
Autrement dit, une IA peut être observée avec précision. Mais l’observation seule ne doit jamais suffire à autoriser une action.
Le risque le plus fréquent : voir le problème sans pouvoir intervenir
Prenons le cas d’une IA qui répond à des clients, oriente des dossiers, recommande des actions ou synthétise des informations sensibles. Un instrument de mesure détecte une hausse du risque factuel ou une instabilité inhabituelle. L’organisation se retrouve alors face à une situation paradoxale : elle dispose d’une alerte, elle voit qu’un problème existe potentiellement, mais aucun rôle n’est clairement désigné pour décider, aucune procédure d’escalade n’est activée, et personne ne sait vraiment s’il faut poursuivre, suspendre ou arrêter.
Ce vide crée une forme de visibilité sans capacité d’intervention. Dans les environnements où les décisions ont des conséquences réelles, ce décalage entre détection et autorité devient un risque opérationnel majeur.
De la mesure à l’action : une chaîne simple
La proposition de James Moore consiste à distinguer clairement les étapes entre la détection technique et la décision d’autorité.
Signal runtime observé
↓
Interprétation du signal
↓
Vérification de l’autorité requise
↓
Désignation du responsable
↓
Escalade, revue humaine, maintien ou arrêt
↓
Trace vérifiable de la décision
Cette séparation est essentielle. La mesure répond à une question d’évidence : qu’est-ce qui a été observé ? La gouvernance répond à une question d’autorité : qui peut décider, sous quelle responsabilité et dans quelles limites ?
Ces deux fonctions doivent collaborer, mais elles ne doivent pas être confondues.
Le Contrat de Gouvernance Runtime : rendre les responsabilités explicites
Pour rendre ce passage opérationnel, NeoMundi a lancé un processus de contribution dont la proposition structurée de James Moore pour un Runtime Governance Contract v0.1 (voir le PDF en bas de page) constitue une première base de travail. Ce contrat ne se substitue ni aux politiques internes, ni aux obligations réglementaires, ni au jugement humain. Son objectif est plus ciblé : empêcher qu’un signal mesuré se transforme silencieusement en action autorisée.
Le record de gouvernance associe chaque signal à plusieurs éléments indispensables : identifiant unique, moment de détection, contexte concerné, niveaux de risque et de confiance, action envisagée, autorité requise, rôle responsable, chemin d’escalade, actions autorisées et interdites, ainsi que le statut final et la trace d’audit requise.
L’objectif est de rendre visible ce qui devrait déjà exister dans toute organisation qui confie des décisions importantes à une IA : qui décide, qui répond, ce qui est permis et ce qui doit s’arrêter ?
Exemple concret : une réponse IA destinée à un client :
Imaginons une IA qui prépare une explication destinée à un client dans un secteur réglementé (banque, assurance, santé, service public ou gestion des ressources humaines). La couche de mesure détecte un signal de risque factuel.
Le réflexe approprié n’est plus d’envoyer automatiquement la réponse parce que « l’IA l’a générée ». Au contraire, le signal est enregistré, l’action prévue est identifiée, une revue humaine est exigée, le responsable conformité est désigné et l’envoi direct au client est bloqué. La décision finale est ensuite conservée avec sa justification.
La mesure ne déclare pas que le texte est juridiquement faux. Elle indique simplement que les conditions observées exigent une vérification avant que cette réponse ne devienne une action réelle.
Cette distinction change profondément la manière dont l’organisation garde le contrôle.
La présence humaine ne suffit pas toujours
De nombreux systèmes affichent aujourd’hui la promesse « un humain reste dans la boucle ». Cette formulation, à elle seule, ne garantit rien. Un humain peut voir une alerte sans disposer du pouvoir réel d’interrompre le flux, sans avoir le mandat de valider ou de refuser, sans disposer du temps nécessaire, ni des informations suffisantes, ni une responsabilité clairement attribuée, ni une règle précise qui déclenche l’escalade.
Un humain présent mais dépourvu d’autorité réelle devient une supervision décorative. La gouvernance à l’exécution exige davantage : un rôle nommé, des droits définis, une responsabilité identifiable et une possibilité effective de suspendre ou d’arrêter une action.
Ce que cette contribution apporte à NeoMundi
NeoMundi développe des outils de mesure continue du comportement des IA. La contribution de James Moore apporte une étape complémentaire indispensable : comment relier un signal runtime à une décision humaine légitime, traçable et proportionnée.
Cette articulation est particulièrement critique dans les environnements où une réponse IA peut avoir un impact direct sur un client, un citoyen, un patient, un salarié, un dossier financier, une décision d’assurance, une opération industrielle ou une infrastructure critique.
NeoMundi ne prétend pas se substituer à la gouvernance humaine. Son objectif est de fournir une couche de mesure indépendante capable d’indiquer clairement ce qui a été observé, dans quelles conditions et à quel instant, afin que l’organisation puisse ensuite relier cette observation à ses propres règles d’autorité, d’escalade et de responsabilité.
Une base ouverte à la discussion
Le Runtime Governance Contract v0.1 constitue une première proposition. Il ne s’agit ni d’un standard finalisé, ni d’une certification, ni d’un dispositif juridique suffisant en lui-même. C’est une base de travail ouverte destinée aux chercheurs, DPO, responsables risques, architectes, juristes, opérateurs d’infrastructure et équipes IA.
La question reste volontairement simple : comment éviter qu’un signal technique se transforme, sans contrôle humain explicite, en une décision qui engage une organisation ou affecte une personne ?
Il s’agit à la fois d’une question d’ingénierie et d’une question de responsabilité.
Conclusion
Une IA peut générer une réponse. Un instrument peut mesurer son comportement. Mais aucune mesure ne devrait, à elle seule, devenir une autorité. La mesure rend une situation visible. La gouvernance détermine si l’action reste admissible. C’est à cette frontière, entre signal, autorité, responsabilité et exécution, que se joue une partie essentielle de la confiance dans les systèmes d’intelligence artificielle de demain.
À propos de la contribution
Cette contribution a été préparée par James Moore, fondateur de Nova Jema AI Systems, initiative indépendante de recherche en gouvernance de l’IA, centrée sur la responsabilité au moment de l’exécution, les structures d’autorité humaine, les limites d’escalade et les lacunes opérationnelles de gouvernance.
Téléchargez les composants de la contribution, PDF:
Auteur
James Moore
NeoMundi Recherche Contributeur · Gouvernance humaine / en temps réel
Gouvernance au moment de l’exécution, responsabilité opérationnelle & escalade
James Moore travaille sur la gouvernance IA au moment de l’exécution : la couche qui détermine si des actions assistées par IA doivent être autorisées, escaladées, interrompues ou arrêtées avant qu’une conséquence irréversible ne survienne.
Son travail porte sur le moment où une sortie produite ou assistée par l’IA devient une action réelle. C’est là que l’autorité, la responsabilité, les chemins d’escalade et l’admissibilité opérationnelle doivent être structurellement définis, en particulier dans les environnements à haut risque ou réglementés.
Au sein de l’Observatoire, il contribue à la couche humaine et opérationnelle de gouvernance : articulation des signaux runtime avec les droits de décision, les logiques d’escalade, les structures de responsabilité et les mécanismes d’intervention sécurisée.
Mission : contribuer à la définition des frontières d’escalade, de responsabilité, d’autorité humaine et d’admissibilité opérationnelle dans les usages IA à enjeux.
Profil : [LinkedIn]