Mesurer les IA
Les intelligences artificielles génératives deviennent progressivement des infrastructures critiques.
Elles rédigent, recommandent, orientent et assistent la décision dans des domaines sensibles : santé, finance, droit, éducation, administration ou systèmes autonomes.
Pourtant, leur comportement réel en production reste encore largement non observé.
La souveraineté commence par la mesure
Pourquoi mesurer les IA ?
Les benchmarks classiques évaluent généralement des modèles dans des conditions définies et à un instant donné.
Mais un service génératif déployé évolue dans le temps. Son comportement peut varier selon le contexte, la charge, l’infrastructure ou les conditions d’interaction.
NeoMundi Recherche développe une approche de mesure runtime afin de rendre observables certains signaux :
- stabilité ;
- dérive ;
- dispersion ;
- régimes critiques ;
- densité informationnelle ;
- comportement sous contrainte.
Pour approfondir :
En savoir plus sur l’Observatoire NeoMundi : : https://github.com/neomundi-io/neomundi-ai-observatory
Cadre théorique : comprendre les principes scientifiques de la mesure runtime.
Méthodologie publique : consulter les protocoles, données, limites d’interprétation et règles de reproductibilité.
Une méthode publique et documentée
NeoMundi Recherche publie progressivement ses protocoles, ses principes méthodologiques, ses jeux de données et les limites d’interprétation de ses mesures.
Cette démarche repose sur un principe simple :
un instrument de mesure doit lui-même être observable, documenté, contestable et reproductible.
NeoMundi Recherche mesure, documente et publie des signaux runtime observables.
L’association ne certifie pas les systèmes observés et ne se substitue pas aux opérateurs responsables de leur gouvernance.
Consulter les publications et le cadre théorique
Explorer les données et protocoles
Contribuer aux analyses
NeoMundi Recherche ouvre progressivement son programme d’observation des IA génératives à des contributeurs extérieurs.
Chercheurs, ingénieurs, data scientists, auditeurs, juristes, journalistes scientifiques et organisations peuvent :
- reproduire une mesure ;
- analyser un jeu de données publié ;
- tester l’instrument sur un corpus indépendant ;
- proposer de nouvelles questions ;
- challenger une métrique ou un protocole ;
- documenter des limites méthodologiques.
Les contributeurs conservent leur indépendance d’analyse.
Découvrir les contributeurs
Proposer une contribution
Comité d’orientation
NeoMundi Recherche réunit progressivement des profils complémentaires pour challenger la méthode, les protocoles et les résultats publiés.
Objectif : renforcer la rigueur scientifique, technique et institutionnelle du programme d’observation des IA génératives.
Premiers membres :
- Joël Ignasse, Journaliste scientifique pour Sciences et Avenir et La Recherche. Auteur de Sur les traces du Nouveau T.rex (Eyrolles, 2025).
- Cédric Chatelain, Consultant qualité et auditeur certifié IRCA, spécialisé en audit, validation et référentiels ISO. Basé à Berne, Suisse.
- James Aull, Fondateur d’ASRO™, une couche indépendante de témoin et de preuves d’état gouverné pour les systèmes d’IA. Basé à Twin Lake, Michigan, États-Unis.
Tester l’instrument
NeoMundi ControlTower permet d’explorer une approche de mesure runtime appliquée aux systèmes génératifs.
Tester l’instrument : https://controltower.neomundi.io
Nous ne proclamons pas. Nous mesurons.