Pourquoi mesurer les IA ?

Les intelligences génératives sont devenues des infrastructures critiques.

Elles rédigent, recommandent, orientent et décident.
Leurs réponses influencent désormais :

• la santé,
• la finance,
• le droit,
• l’éducation,
• l’administration,
• les systèmes autonomes.

Pourtant, leur comportement réel en production reste largement non observé.

Un instrument public, une méthode documentée

Comme tout instrument de mesure scientifique, NeoMundi doit pouvoir être compris, discuté et challengé.

Nous documentons publiquement le fonctionnement de l’instrument : les signaux observés, les modes de mesure, les artefacts produits, les limites d’interprétation et les principes de protection des données.

Cette documentation permet aux chercheurs, équipes IA, auditeurs, juristes et responsables conformité de comprendre comment un comportement runtime devient un signal observable.

Les benchmarks ne suffisent plus.

Les évaluations classiques testent des modèles isolés, dans des contextes figés et à un instant donné.
Mais un service génératif déployé :

• évolue,
• dérive,
• change d’infrastructure,
• change de charge,
• change de comportement dans le temps.

Mesurer uniquement la performance statique ne suffit plus à comprendre la stabilité réelle d’un système génératif en production.

Une IA qui se mesure devient observable

NeoMundi Recherche développe une approche de mesure runtime appliquée aux services génératifs diffusés publiquement.
L’objectif n’est pas de juger une IA moralement ou politiquement.
L’objectif est de rendre observables certains signaux :

• stabilité,
• dérive,
• dispersion,
• régimes critiques,
• comportement sous contrainte informationnelle.

Pourquoi la mesure en temps réel (runtime) change tout

Une réponse correcte peut être produite dans un état instable.
Inversement, une réponse stable peut progressivement dériver sous certaines conditions de charge, de contexte ou d’interaction.
Le comportement réel d’un système génératif ne peut être compris uniquement à partir d’un benchmark statique.
Il doit être observé dans le temps, pendant son exécution.

Une logique proche des infrastructures critiques

Les réseaux électriques, les marchés financiers, les systèmes industriels ou les infrastructures aéronautiques sont observés en continu.
Les systèmes génératifs deviennent eux aussi des infrastructures critiques.
Ils nécessitent progressivement :

• des signaux de stabilité,
• des protocoles d’observation,
• des historiques versionnés,
• des mécanismes de traçabilité.

Ce que publie NeoMundi Recherche

NeoMundi Recherche publie progressivement :

• des cartographies runtime,
• des méthodologies publiques,
• des jeux de données versionnés,
• des signatures comparatives,
• des observations reproductibles.

Les publications sont diffusées en accès ouvert

Mesurer, attester, transmettre

NeoMundi Recherche ne gouverne pas les services observés.
L’association mesure, documente et publie des signaux observables dans des conditions expérimentales définies.
La gouvernance demeure la responsabilité des opérateurs.

La stabilité des IA ne peut pas rester invisible.

La cartographie thermodynamique est un programme continu d’observation publique des systèmes génératifs.