Les intelligences artificielles génératives deviennent progressivement des infrastructures critiques.
Elles rédigent, recommandent, analysent, orientent et assistent la décision dans des domaines sensibles : santé, finance, droit, éducation, administration, industrie ou systèmes autonomes.
Pourtant, une fois déployées, leur comportement réel reste encore largement non observé.
Un modèle peut obtenir de bons résultats lors d’un benchmark et présenter, en production, des variations selon le contexte, la formulation d’une requête, l’infrastructure utilisée, la charge, les mises à jour du fournisseur ou les conditions d’interaction.
Ces variations peuvent affecter la stabilité des réponses, leur cohérence, leur factualité et la fréquence ou la nature des hallucinations produites par le système.
Mesurer les intelligences artificielles permet de rendre ces comportements visibles, comparables et documentables dans le temps.
La souveraineté commence par la mesure
Il est difficile de gouverner un système que l’on ne peut pas observer.
Il est encore plus difficile de contrôler, auditer ou comparer un système dont le comportement ne fait l’objet d’aucune mesure continue.
La souveraineté numérique ne dépend donc pas uniquement de la localisation des infrastructures, de l’origine des modèles ou de la maîtrise des données.
Elle dépend également de la capacité à produire ses propres mesures sur le comportement réel des systèmes utilisés.
Mesurer permet de ne pas dépendre uniquement :
- des déclarations des fournisseurs ;
- des scores publiés par les éditeurs ;
- des benchmarks réalisés dans des conditions contrôlées ;
- des évaluations effectuées à un instant donné ;
- des impressions subjectives des utilisateurs ;
- d’alertes ponctuelles sur des erreurs ou des hallucinations isolées.
La mesure constitue une première condition de l’autonomie technique, de l’auditabilité et de la gouvernance des systèmes d’intelligence artificielle.
Pourquoi les benchmarks ne suffisent pas ?
Les benchmarks classiques permettent d’évaluer un modèle sur un ensemble défini de tâches, de questions ou de jeux de données.
Ils sont utiles pour comparer des performances dans un cadre déterminé.
Mais ils ne décrivent pas toujours le comportement réel d’un service génératif déployé.
Un système en production peut évoluer dans le temps sous l’effet :
- d’une mise à jour du modèle ;
- d’un changement d’infrastructure ;
- d’une modification des paramètres ;
- d’une variation de charge ;
- d’un routage entre plusieurs modèles ;
- d’un changement de contexte ;
- d’une évolution des données ;
- d’une modification des politiques de sécurité ;
- d’interactions différentes avec les utilisateurs.
Ces changements peuvent affecter les performances du système, mais également la cohérence de ses réponses, leur fiabilité factuelle et les formes d’hallucination qu’il produit.
Un benchmark produit principalement une photographie.
La mesure runtime cherche à observer une dynamique.
Elle permet d’étudier ce que le système fait réellement, dans quelles conditions il varie, quand des hallucinations apparaissent et comment son comportement évolue au cours du temps.
De l’observabilité à la métrologie des IA
L’observabilité permet de rendre visible le fonctionnement d’un système.
Dans les infrastructures logicielles classiques, elle repose notamment sur les logs, les traces, les métriques techniques et les événements.
Appliquée aux intelligences artificielles, l’observabilité permet de suivre des éléments tels que :
- les requêtes ;
- les réponses ;
- la latence ;
- la consommation de ressources ;
- le nombre de tokens ;
- les erreurs ;
- les appels à des outils ;
- les événements produits par un agent ou un pipeline.
Ces données sont indispensables, mais elles ne suffisent pas toujours à caractériser le comportement d’une IA.
Observer une réponse, une erreur factuelle ou une hallucination ne signifie pas encore savoir la mesurer.
La métrologie va plus loin.
Elle cherche à définir :
- ce qui est mesuré ;
- comment la mesure est produite ;
- dans quelles conditions elle est valide ;
- avec quel niveau d’incertitude ;
- selon quel protocole ;
- avec quelles limites ;
- et avec quelle capacité de reproduction ou de comparaison.
L’observabilité rend le comportement visible.
La métrologie le rend mesurable, comparable et documentable. Cette distinction est approfondie dans De l’observabilité de l’IA à la métrologie comportementale.
Qu’est-ce que la métrologie runtime des IA ?
La métrologie runtime consiste à mesurer le comportement d’un système d’intelligence artificielle pendant son fonctionnement réel ou dans des conditions contrôlées reproduisant son usage.
Elle ne cherche pas uniquement à déterminer si une réponse est correcte ou incorrecte, ni à détecter ponctuellement une hallucination.
Elle cherche également à caractériser la manière dont le système se comporte dans le temps, face à des répétitions, des variations de contexte ou différentes contraintes opérationnelles.
NeoMundi Recherche développe une approche de métrologie runtime appliquée aux systèmes génératifs et agentiques.
Cette approche vise à produire des signaux observables sur plusieurs dimensions du comportement, notamment la stabilité, la variation sémantique, la cohérence, la factualité, la dérive et les régimes d’hallucination.
Cette approche est opérationnalisée à travers ControlTower : une couche de métrologie runtime pour la gouvernance des IA.
Quels comportements peut-on mesurer ?
Selon les protocoles et les cas d’usage, la mesure runtime peut notamment porter sur les dimensions suivantes.
La stabilité
La stabilité décrit la capacité d’un système à produire des réponses similaires ou cohérentes lorsque les conditions d’interrogation sont répétées.
Un système peut sembler fiable lors d’une interaction isolée tout en présentant une forte variabilité sur plusieurs exécutions comparables.
Une réponse peut également être stable tout en reproduisant systématiquement une erreur ou une hallucination. La stabilité ne doit donc jamais être confondue avec la vérité. La distinction entre stabilité et cohérence factuelle est examinée dans Stabilité vs cohérence factuelle dans les IA en production.
La variation sémantique
La variation sémantique mesure l’écart de sens entre plusieurs réponses produites dans des conditions proches.
Deux réponses peuvent utiliser des mots différents tout en conservant le même sens.
À l’inverse, elles peuvent sembler proches en surface tout en exprimant des conclusions différentes, voire incompatibles.
L’analyse de la variation sémantique peut notamment révéler qu’une hallucination est occasionnelle, qu’elle change de forme ou qu’elle devient persistante malgré des formulations différentes.
La dispersion
La dispersion décrit l’étendue des comportements ou des réponses observés au cours d’un ensemble d’exécutions.
Elle permet notamment d’identifier si un système converge vers un comportement stable ou s’il explore plusieurs réponses incompatibles.
Une forte dispersion peut également révéler que le système alterne entre une réponse factuelle, une réponse imprécise et une réponse hallucinée.
La dérive
La dérive correspond à une évolution progressive ou soudaine du comportement d’un système dans le temps.
Elle peut apparaître après une mise à jour, un changement d’infrastructure, une modification du contexte ou une évolution non documentée du service.
La mesure de la dérive peut aider à déterminer si certaines erreurs factuelles ou certains schémas d’hallucination deviennent plus fréquents, plus persistants ou plus difficiles à détecter.
La cohérence
La cohérence mesure la compatibilité logique, structurelle ou sémantique des réponses produites par le système.
Elle peut être étudiée à l’intérieur d’une même réponse ou entre plusieurs réponses générées à partir d’une même famille de requêtes.
Une réponse peut être fluide et cohérente dans sa forme tout en reposant sur une information inventée. La cohérence apparente ne garantit donc pas l’absence d’hallucination.
La factualité et les hallucinations
La factualité examine la relation entre les affirmations générées et des éléments considérés comme vérifiables.
Une hallucination désigne ici une réponse ou une affirmation apparemment plausible, mais non étayée, fabriquée, incorrecte ou incompatible avec les éléments de référence disponibles.
Toutes les erreurs ne relèvent pas nécessairement d’une hallucination. Une réponse peut être incomplète, ambiguë, obsolète ou mal interprétée sans comporter de contenu fabriqué.
C’est pourquoi les catégories doivent être définies par protocole et interprétées avec prudence.
Une réponse stable n’est pas nécessairement vraie.
Un système peut reproduire de manière constante une information erronée ou une hallucination.
À l’inverse, une réponse variable n’est pas nécessairement fausse.
La stabilité, la factualité et les hallucinations doivent donc être observées séparément, puis analysées conjointement.
Les régimes comportementaux
Un système peut présenter plusieurs régimes de fonctionnement :
- comportement normal ;
- variation modérée ;
- instabilité ;
- rupture ;
- refus ;
- contradiction ;
- réponse incomplète ;
- erreur factuelle ;
- hallucination isolée ;
- hallucination persistante.
Identifier ces régimes permet de suivre les transitions et les situations potentiellement critiques.
L’objectif n’est pas uniquement de détecter une hallucination, mais de déterminer dans quel régime elle apparaît, à quelle fréquence, dans quelles conditions et avec quelle persistance.
La densité informationnelle
La densité informationnelle cherche à caractériser la quantité d’information pertinente contenue dans une réponse par rapport à sa longueur, sa structure ou son niveau de redondance.
Une réponse longue et détaillée peut donner une impression d’autorité tout en contenant peu d’informations vérifiables ou en développant une hallucination avec un haut niveau de vraisemblance apparente.
La densité informationnelle doit donc être rapprochée de la factualité et de la qualité des éléments produits.
Le comportement sous contrainte
La mesure peut également observer la manière dont un système réagit sous certaines contraintes :
- limitation de temps ;
- limitation de tokens ;
- charge élevée ;
- contexte incomplet ;
- instruction contradictoire ;
- pression opérationnelle ;
- utilisation d’outils externes ;
- exécution dans un environnement agentique.
Ces conditions peuvent modifier la stabilité, la cohérence ou la factualité des réponses et favoriser l’apparition de certains types d’hallucination.
La mesure sous contrainte permet d’observer si le système reconnaît son incertitude, demande des informations complémentaires, refuse de répondre ou génère une réponse plausible sans fondement suffisant.
Mesurer ne signifie pas certifier
Une mesure constitue un signal.
Elle ne constitue pas automatiquement un verdict. Ce principe fondamental est détaillé dans Signal vs Verdict : principe fondamental d’une évaluation responsable des IA.
La détection d’une erreur factuelle ou d’une hallucination ne permet pas, à elle seule, de qualifier globalement un système.
NeoMundi Recherche observe, mesure, documente et publie des signaux runtime.
Ces signaux peuvent contribuer à :
- l’analyse ;
- la surveillance ;
- l’audit ;
- la gestion des risques ;
- l’évaluation interne ;
- la gouvernance ;
- la conformité ;
- l’étude des hallucinations ;
- la comparaison entre plusieurs périodes ou configurations.
Ils doivent toutefois être interprétés dans leur contexte.
NeoMundi Recherche ne certifie pas automatiquement les systèmes observés et ne se substitue pas aux opérateurs, auditeurs, autorités ou organisations responsables des décisions de gouvernance.
Le rôle de l’instrument est de produire une mesure.
Le rôle de la gouvernance est de déterminer la conséquence associée à cette mesure.
De la mesure aux preuves de gouvernance
La gouvernance des systèmes d’intelligence artificielle ne peut pas reposer uniquement sur des politiques écrites, des déclarations de conformité ou des évaluations réalisées avant le déploiement.
Elle a également besoin de preuves issues du fonctionnement réel.
Une infrastructure de mesure runtime peut produire des éléments exploitables pour :
- documenter l’évolution d’un système ;
- identifier une rupture comportementale ;
- vérifier qu’un niveau de stabilité reste acceptable ;
- détecter des erreurs factuelles récurrentes ;
- identifier des schémas d’hallucination ;
- comparer plusieurs versions ou configurations ;
- analyser un incident ;
- alimenter une politique interne ;
- soutenir un audit ;
- produire une traçabilité ;
- déclencher une revue humaine ;
- renforcer les mécanismes de supervision.
La mesure devient alors une couche intermédiaire entre le comportement du système et les décisions de gouvernance.
Cette couche ne décide pas à la place de l’organisation.
Elle fournit les signaux et les preuves nécessaires pour décider de manière plus documentée.
Une hallucination observée constitue ainsi un signal à qualifier, contextualiser et relier aux exigences, aux risques et aux politiques propres au cas d’usage concerné.
Pourquoi mesurer les IA dans le temps ?
Le comportement d’un système génératif n’est pas nécessairement constant.
Une réponse correcte aujourd’hui peut varier demain.
Une version considérée comme stable peut évoluer après une mise à jour.
Un système fiable sur un corpus peut devenir imprévisible dans un autre contexte.
Une hallucination peut être isolée, disparaître lors d’une nouvelle exécution, devenir persistante ou apparaître uniquement dans certaines conditions.
Une mesure ponctuelle ne permet donc pas toujours de comprendre le comportement réel d’une IA.
La mesure longitudinale permet d’observer :
- les tendances ;
- les changements de régime ;
- les ruptures ;
- les améliorations ;
- les dégradations ;
- les variations persistantes ;
- les effets d’une mise à jour ;
- les différences entre plusieurs périodes ;
- l’apparition ou la disparition de schémas d’hallucination ;
- l’évolution de la fiabilité factuelle.
Elle permet notamment de déterminer si une hallucination est accidentelle, récurrente, croissante ou associée à une version, une configuration ou une condition d’exécution particulière.
L’objectif n’est pas seulement de savoir si un système fonctionne.
Il est de comprendre comment il évolue.
Une méthode publique, documentée et reproductible
Un instrument de mesure doit lui-même pouvoir être examiné.
NeoMundi Recherche publie progressivement :
- ses protocoles ;
- ses principes méthodologiques ;
- ses jeux de données ;
- ses définitions ;
- ses hypothèses ;
- ses règles de calcul ;
- ses critères de qualification des erreurs et des hallucinations ;
- ses limites d’interprétation ;
- ses conditions de reproductibilité.
Cette démarche repose sur un principe simple :
Un instrument de mesure doit lui-même être observable, documenté, contestable et reproductible.
Une métrique ne doit pas être considérée comme pertinente uniquement parce qu’elle produit un chiffre.
Elle doit également être définie, testée, contextualisée et confrontée à ses propres limites.
Il en va de même pour la notion d’hallucination : elle doit être définie dans le protocole, distinguée des autres formes d’erreur et reliée à des critères d’analyse explicites.
Pourquoi la reproductibilité est essentielle
Une mesure utile doit pouvoir être comprise et, lorsque cela est possible, reproduite par d’autres acteurs.
La reproductibilité permet notamment de :
- vérifier un résultat ;
- tester la robustesse d’un protocole ;
- identifier un biais ;
- comparer plusieurs instruments ;
- challenger une hypothèse ;
- améliorer une métrique ;
- examiner la qualification d’une hallucination ;
- documenter les limites d’une méthode.
NeoMundi Recherche ouvre progressivement ses travaux à des chercheurs, ingénieurs, auditeurs, organisations et contributeurs indépendants.
Les contributeurs conservent leur indépendance d’analyse.
Ils peuvent ainsi reproduire les mesures, contester une catégorisation ou proposer une interprétation différente des erreurs et hallucinations observées.
Contribuer au programme de mesure
NeoMundi Recherche développe un programme ouvert d’observation et de mesure des systèmes d’intelligence artificielle générative.
Chercheurs, ingénieurs, data scientists, spécialistes de l’observabilité, auditeurs, juristes, journalistes scientifiques et organisations peuvent notamment :
- reproduire une mesure ;
- analyser un jeu de données publié ;
- tester l’instrument sur un corpus indépendant ;
- proposer de nouvelles questions ;
- challenger une métrique ;
- examiner un protocole ;
- documenter une limite méthodologique ;
- analyser des erreurs factuelles ou des hallucinations ;
- comparer plusieurs approches de mesure ;
- contribuer à un pilote ;
- produire une analyse indépendante.
L’objectif n’est pas de construire une vérité fermée.
Il est de construire un cadre de mesure pouvant être testé, critiqué et amélioré.
Un comité d’orientation pluridisciplinaire
La mesure des systèmes d’intelligence artificielle ne relève pas uniquement de l’ingénierie.
Elle mobilise également des enjeux scientifiques, méthodologiques, juridiques, économiques, journalistiques et institutionnels.
NeoMundi Recherche réunit progressivement des profils complémentaires afin de challenger :
- les concepts ;
- les protocoles ;
- les métriques ;
- les critères utilisés pour qualifier les hallucinations ;
- les résultats publiés ;
- les limites d’interprétation ;
- les usages possibles des mesures.
L’objectif est de renforcer la rigueur scientifique, technique et institutionnelle du programme d’observation des intelligences artificielles génératives.
Premiers membres
Joël Ignasse
Journaliste scientifique pour Sciences et Avenir et La Recherche. Auteur de Sur les traces du Nouveau T. rex, publié aux éditions Eyrolles en 2025.
Cédric Chatelain
Consultant qualité et auditeur certifié IRCA, spécialisé en audit, validation et référentiels ISO. Basé à Berne, en Suisse.
James Aull
Fondateur d’ASRO™, une couche indépendante de témoin et de preuves d’état gouverné pour les systèmes d’intelligence artificielle. Basé à Twin Lake, dans le Michigan, aux États-Unis.
Tester un instrument de mesure runtime
NeoMundi ControlTower permet d’explorer une approche de mesure runtime appliquée aux systèmes génératifs et agentiques.
L’instrument permet d’observer certains signaux comportementaux dans le temps et de les transformer en données exploitables pour l’analyse, l’observabilité et la gouvernance.
Il peut notamment contribuer à documenter la stabilité, les variations sémantiques, la cohérence, la factualité et les schémas d’hallucination observés au cours de plusieurs exécutions.
Tester l’instrument permet de mieux comprendre la différence entre :
- une réponse observée ;
- une erreur ou une hallucination identifiée ;
- une métrique produite ;
- un signal interprété ;
- une preuve documentée ;
- une décision de gouvernance.
Une hallucination observée n’est pas encore une décision.
Elle devient un élément de preuve lorsqu’elle est mesurée, contextualisée, documentée et reliée à un protocole explicite.
Ressources NeoMundi
Retrouvez les principales ressources scientifiques, techniques et méthodologiques du programme NeoMundi.
Observatoire des intelligences artificielles
Explorer les protocoles, les données publiques, les baromètres, les cartographies et les analyses longitudinales publiées par NeoMundi Recherche.
https://github.com/neomundi-io/neomundi-ai-observatory
Cadre théorique
Comprendre les principes scientifiques, informationnels et thermodynamiques mobilisés dans le développement de la métrologie runtime.
Comprendre les principes scientifiques de la metrologie runtime
Méthodologie publique
Consulter les protocoles, les définitions des métriques, les règles de calcul, les données, les limites d’interprétation et les conditions de reproductibilité.
Consulter la méthodologie publique de mesure
Publications et analyses
Découvrir les publications scientifiques, articles méthodologiques, baromètres et résultats produits par NeoMundi Recherche.
Consulter les publications et les analyses
Données et protocoles
Explorer les jeux de données publics, les schémas, les méthodes d’analyse et les éléments nécessaires à la reproduction des mesures.
Explorer les données et protocoles.
Contributions
Découvrir les contributeurs de l’observatoire des IA NeoMundi, les travaux indépendants et les modalités de participation au programme de mesure.
Découvrir les contributeurs
Proposer une contribution
ControlTower
Tester l’approche de métrologie runtime développée par NeoMundi.
https://controltower.neomundi.io
Mesurer pour rendre les IA gouvernables
L’intelligence artificielle ne deviendra pas gouvernable uniquement par l’ajout de règles, de chartes ou de principes.
Elle deviendra gouvernable lorsque les organisations disposeront également d’instruments permettant d’observer son comportement réel, de mesurer ses variations et de produire des preuves dans le temps.
L’observabilité montre ce qui se passe.
La métrologie permet de le mesurer.
La gouvernance détermine ce qu’il faut en faire.
Nous ne proclamons pas. Nous mesurons.