Les entreprises n’ont plus besoin qu’on leur explique que l’intelligence artificielle comporte des risques. Elles le savent.
Elles savent aussi qu’un système peut produire une réponse convaincante et pourtant fragile, qu’un fournisseur peut modifier un modèle ou son routage sans que ce changement soit immédiatement visible, et qu’une application parfaitement disponible sur le plan technique peut évoluer silencieusement sur le plan comportemental.
La véritable question commence donc après les principes.
Comment mesurer ce qui change ? Comment distinguer une variation normale d’un signal qui mérite une investigation ? Comment documenter le comportement réel d’un système dans le temps ? Et surtout, comment transformer ces observations en décisions utiles pour les équipes produit, risque, conformité, finance ou direction générale ?
Depuis plusieurs années, le National Institute of Standards and Technology pose les fondations de cette discipline. Le NIST défend le développement de métriques, de méthodes de mesure, de protocoles d’évaluation et de bonnes pratiques permettant d’apprécier les propriétés des systèmes d’intelligence artificielle. Son approche ne consiste pas à rechercher un score universel qui résumerait à lui seul la qualité de toutes les IA. Elle insiste au contraire sur la nécessité de définir précisément la propriété observée, le contexte d’évaluation, les données utilisées, les limites des métriques et les méthodes permettant d’obtenir une mesure interprétable.
Cette orientation reste pleinement d’actualité. Le programme consacré aux tests, à l’évaluation, à la validation et à la vérification des systèmes d’IA rappelle que la confiance dans les produits et services fondés sur l’intelligence artificielle dépend de mesures et d’évaluations fiables. Le NIST poursuit ainsi le développement de méthodes de mesure, contribue aux standards et soutient leur adoption dans les usages réels.
Le cadre est donc posé.
Mais entre un cadre de référence et sa mise en œuvre quotidienne dans une organisation, il reste un espace considérable.
C’est dans cet espace que NeoMundi intervient.
Mesurer après le déploiement
Une grande partie de l’évaluation des systèmes d’IA demeure encore ponctuelle. Un modèle est testé sur un jeu de données, comparé à une référence, puis déclaré suffisamment performant pour un usage déterminé.
Cette étape est nécessaire, mais elle ne suffit plus.
Les systèmes d’IA générative ne sont pas des objets immobiles. Ils sont probabilistes, dépendants de leur contexte, de leur fournisseur, de leurs paramètres, de leur environnement technique et des évolutions successives qui peuvent intervenir après leur déploiement.
Une entreprise ne consomme pas seulement un modèle. Elle utilise un service « vivant ».
Or ce service peut changer sans panne visible. La latence reste correcte. L’API répond. Les coûts semblent maîtrisés. Pourtant, les réponses peuvent devenir plus variables, moins cohérentes, plus fragiles sur le plan factuel ou simplement différentes de celles que l’organisation avait précédemment observées et acceptées.
Le risque n’est donc pas uniquement qu’une IA se trompe.
Le risque est aussi qu’elle change silencieusement, comme l’illustrent nos baromètres hebdomadaires : sur un même protocole répété, un profil désidentifié est passé de 0,3 % de réponses signalées à 12,3 %, avant de redescendre puis de se stabiliser autour de 14 % lors de mesures longitudinales complémentaires (voir Baromètre #4 des IA).
Dans mon papier De l’observabilité des IA à la métrologie de gouvernance, je défends l’idée que la prochaine étape de l’observabilité consiste précisément à mesurer ces régimes comportementaux dans le temps. Et pour cause, il ne s’agit plus seulement de collecter de la télémétrie ou de constater ce qui s’est produit. Il s’agit d’établir un référentiel, puis d’observer si le comportement du système demeure dans une plage connue ou s’il commence à s’en éloigner.
Cette approche prolonge directement la logique de mesure défendue par le NIST, tout en la déplaçant vers une question encore insuffisamment traitée dans les organisations : que devient l’évaluation une fois le système réellement utilisé ?
Cette question rejoint également la logique du règlement européen sur l’intelligence artificielle. Pour les systèmes concernés, l’AI Act ne s’arrête pas à l’évaluation initiale : il prévoit des mécanismes de journalisation, de supervision humaine, de suivi après mise sur le marché et de signalement des incidents graves. Les organisations qui déploient des systèmes à haut risque doivent notamment en surveiller le fonctionnement et agir lorsque des risques ou des incidents sont identifiés.
Le règlement fixe ainsi une obligation de gouvernance, mais il ne fournit pas à lui seul l’instrument permettant d’observer finement les variations comportementales d’une IA générative dans le temps. C’est précisément dans cet espace que la métrologie de gouvernance devient opérationnelle : elle transforme les sorties d’un système en signaux documentés, comparables et utilisables pour déclencher une investigation, renforcer une supervision ou réévaluer un usage.
Cette exigence de suivi s’inscrit également dans la logique de la norme ISO/IEC 42001, consacrée aux systèmes de management de l’intelligence artificielle. Celle-ci invite les organisations à structurer leurs responsabilités, leurs processus de contrôle, leur documentation et l’amélioration continue de leurs usages de l’IA. Là encore, la difficulté n’est plus seulement de définir une politique de gouvernance, mais de disposer de données suffisamment fiables et régulières pour vérifier comment les systèmes se comportent réellement après leur déploiement.
De l’observabilité à la métrologie de gouvernance
NeoMundi a commencé à rendre cette approche opérationnelle.
Nous exécutons des protocoles répétables sur des systèmes d’IA accessibles en production. Nous observons leurs réponses dans des conditions définies. Nous répétons les mesures, construisons des références et comparons les résultats dans le temps.
L’objet mesuré n’est pas « le modèle » dans l’absolu.
Nous mesurons un moment comportemental : la manière dont un système répond à une entrée définie, dans un contexte spécifié et au cours d’une période déclarée.
Cette distinction est essentielle. Elle évite de transformer une mesure locale en jugement universel. Un système peut être stable et néanmoins produire une réponse inexacte. Un autre peut être variable tout en restant pertinent pour un usage créatif ou exploratoire.
La mesure ne doit donc pas devenir un classement simpliste.
Elle doit permettre de documenter un comportement, d’identifier ses évolutions et de déterminer si une variation mérite une revue plus approfondie.
C’est pourquoi NeoMundi applique une doctrine constante : le signal n’est pas le verdict.
Une variation sémantique, une perte de cohérence ou une alerte factuelle ne constitue pas à elle seule une preuve de défaillance. Elle indique qu’un changement a été observé et qu’une attention humaine, métier ou institutionnelle peut être nécessaire.
Le rôle de l’instrument n’est pas de remplacer l’autorité. Il est de lui fournir une base structurée, traçable et révisable.
La valeur ne réside pas dans un score supplémentaire
Pour une organisation, mesurer n’a de sens que si cette mesure permet d’agir.
Une direction générale n’a pas besoin d’un indicateur de plus dans un tableau de bord déjà saturé. Elle doit pouvoir savoir où le comportement change, quels usages sont concernés, combien ces usages coûtent et où concentrer les ressources de contrôle.
C’est la raison pour laquelle nous croisons progressivement les signaux comportementaux avec des données opérationnelles telles que le coût, la consommation de tokens, la latence, les exécutions incomplètes, la densité informationnelle et l’effort de supervision humaine.
Cette mise en relation change la nature de la mesure.
Une hausse de la variabilité n’a pas la même signification sur un outil de brainstorming interne que sur un dispositif produisant des informations juridiques, financières ou médicales. Une erreur isolée n’a pas le même impact selon qu’elle est détectée automatiquement ou qu’elle nécessite plusieurs heures de reprise par un collaborateur qualifié.
Le coût réel d’une IA ne se limite donc pas à sa facture API.
Il comprend aussi le coût de vérification, de correction, d’escalade, de supervision et, dans certains cas, le coût d’un incident évité trop tard.
Une métrologie de gouvernance doit rendre cette économie visible.
Elle peut aider une organisation à identifier les usages qui peuvent rester largement automatisés, ceux qui nécessitent une supervision renforcée, ceux qui doivent être réévalués et ceux dont le coût de contrôle finit par dépasser la valeur créée.
À ce niveau, la mesure devient un instrument d’allocation des ressources.
Construire une mémoire du comportement réel
L’autre enjeu majeur est celui de la traçabilité.
Lorsqu’un incident survient, les organisations disposent souvent de journaux techniques, de traces applicatives ou de données ponctuelles. Elles disposent beaucoup plus rarement d’une histoire structurée du comportement du système avant l’incident.
Or, un signal faible ne devient visible que lorsqu’il peut être comparé.
La surveillance longitudinale permet de passer d’une succession d’observations isolées à une trajectoire. Elle permet de distinguer un épisode ponctuel d’une évolution persistante, puis éventuellement d’un changement de régime.
Cette mémoire comportementale peut devenir utile à de nombreux acteurs : les équipes produit pour suivre la qualité réelle d’un service, les achats pour évaluer un fournisseur, la conformité pour documenter les contrôles réalisés, l’audit pour reconstruire une chronologie, l’assurance pour mieux qualifier une exposition et la direction pour arbitrer les investissements.
Le NIST souligne depuis longtemps l’importance des évaluations systématiques, des métriques explicites, des jeux de données adaptés et des outils permettant d’appliquer ces méthodes à des systèmes réels. Il développe également des environnements et des logiciels destinés à organiser et reproduire les évaluations.
NeoMundi s’inscrit dans cette continuité, avec un terrain d’application précis : l’observation répétée et longitudinale du comportement des systèmes d’IA générative.
Un cadre ne gouverne pas seul
Il faut rester rigoureux sur ce que cette approche permet et sur ce qu’elle ne permet pas.
La métrologie comportementale ne prouve pas qu’une IA dit vrai. Elle ne certifie pas qu’un système est sûr. Elle ne décide pas seule qu’un usage est juridiquement conforme. Elle ne remplace ni l’expertise métier, ni la responsabilité humaine, ni les autorités chargées de prendre une décision.
Elle permet autre chose, qui devient aujourd’hui indispensable.
Elle permet de savoir qu’un comportement a changé avant que ce changement ne se transforme en incident silencieux.
Elle permet de documenter ce changement.
Elle permet de concentrer la supervision là où elle produit le plus de valeur.
Elle permet enfin de relier les principes de gouvernance aux conditions réelles d’exploitation.
Les institutions ont posé le langage de la mesure des intelligences artificielles. NeoMundi en a construit l’instrument opérationnel : une couche de métrologie permettant aux organisations de suivre, dans le temps, le comportement de systèmes réels et d’en tirer des décisions de gouvernance mesurables.
Le prochain enjeu de la gouvernance IA ne sera donc pas seulement de savoir si un système a été évalué.
Il sera de savoir s’il continue à se comporter comme l’organisation pense qu’il se comporte et combien cette confiance lui coûte.
Référence associée : Sébastien Favre, « De l’observabilité des IA à la métrologie de gouvernance », NeoMundi Recherche, juillet 2026, DOI : 10.5281/zenodo.21250268.
Références
National Institute of Standards and Technology. (s. d.). NIST AI Measurement and Evaluation Projects.
https://www.nist.gov/programs-projects/ai-measurement-and-evaluation/nist-ai-measurement-and-evaluation-projects
National Institute of Standards and Technology, AIME Planning Team. (2021). Artificial Intelligence Measurement and Evaluation at the National Institute of Standards and Technology.
https://www.nist.gov/system/files/documents/2021/06/16/AIME_at_NIST-DRAFT-20210614.pdf
Union européenne. (2024). Règlement (UE) 2024/1689 du Parlement européen et du Conseil du 13 juin 2024 établissant des règles harmonisées concernant l’intelligence artificielle. Journal officiel de l’Union européenne.
National Institute of Standards and Technology. (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1.
https://doi.org/10.6028/NIST.AI.100-1
International Organization for Standardization. (2023). ISO/IEC 42001:2023, Information technology, Artificial intelligence, Management system.
Favre, S. (2026). De l’observabilité des IA à la métrologie de gouvernance, Mesurer les régimes comportementaux des systèmes d’IA générative.
NeoMundi Recherche.
https://doi.org/10.5281/zenodo.21250268