Une couche indépendante pour observer et mesurer le comportement des IA
NeoMundi Recherche développe une infrastructure indépendante dédiée à la mesure du comportement réel des systèmes d’intelligence artificielle générative.
Sa mission : documenter les variations observables des sorties des IA et leur évolution dans le temps, afin d’éclairer leur suivi, leur audit et leur gouvernance. La portée des indicateurs dépend du protocole, de la version de mesure et des évaluateurs disponibles.
Les systèmes génératifs influencent déjà des décisions, des services, des savoirs et des organisations. Leur comportement peut varier selon les modèles, les fournisseurs, les périodes et les contextes d’usage. Des observations documentées permettent d’étudier ces variations.
Comité scientifique & d’orientation
NeoMundi Recherche s’entoure de profils complémentaires issus de la recherche, de l’enseignement, de l’audit, du droit et de la gouvernance des systèmes d’IA.
Leur rôle est de contribuer à challenger les méthodes, les protocoles, les hypothèses et les résultats publiés, afin de renforcer la rigueur scientifique, technique et institutionnelle du programme.
Le comité n’a pas vocation à piloter opérationnellement l’Observatoire. Il apporte un regard externe, critique et méthodologique : confronter les hypothèses, identifier les angles morts, examiner la reproductibilité et maintenir une exigence d’auditabilité.
Membres
Thomas Hormaza Dow — Fondateur du Business Physics AI Lab, professeur de Business With AI au Champlain College et co-auteur du REACT Framework – Cadre RÉAGI, consacré au développement du discernement dans l’usage de l’IA dans l’enseignement supérieur.
Joël Ignasse — Journaliste scientifique pour La Recherche. Auteur de Sur les traces du Nouveau T.rex (Eyrolles, 2025).
Cédric Chatelain — Consultant qualité et auditeur certifié IRCA, spécialisé en audit, validation et référentiels ISO. Basé à Berne, Suisse.
James Aull — Fondateur d’ASRO™, couche indépendante de témoin et de preuves d’état gouverné pour les systèmes d’IA. Basé à Twin Lake, Michigan, États-Unis.
Inès Ramoul — Juriste RGPD & AI Act, spécialisée en droit du numérique, protection des données et gouvernance de l’IA. Contributrice juridique et conformité de l’Observatoire IA NeoMundi. Basée à Lyon, France.
Une approche fondée sur la mesure
NeoMundi ne se contente pas d’observer les systèmes génératifs : nous les mesurons dans le temps.
Nous développons et publions des protocoles documentés, des données agrégées et des analyses ouvertes pour permettre l’examen critique et des essais de reproduction. Les conditions des campagnes et les limites de comparabilité doivent accompagner les résultats.
Cette approche s’inscrit dans une démarche de métrologie comportementale des systèmes d’IA : définir les indicateurs, documenter leurs conditions de calcul et étudier leur répétabilité, leur sensibilité et leur utilité pour l’analyse des réponses.
Une infrastructure indépendante
L’indépendance se traduit dans le choix des infrastructures, l’ouverture progressive des méthodes et le recours à des regards externes.
Le cloud suisse d’Infomaniak fait partie des infrastructures utilisées par l’Observatoire. Les conditions d’hébergement, de traitement et de conservation des données sont précisées selon les dispositifs déployés.
Cette séparation contribue à préserver la capacité de NeoMundi à produire des mesures indépendantes des systèmes faisant eux-mêmes l’objet de l’observation.
Des observations publiques et longitudinales
Les travaux de l’Observatoire sont publiés progressivement sous plusieurs formes :
- cartographies comparatives des systèmes génératifs ;
- bulletins d’observation et Météo des IA, selon les protocoles et calendriers indiqués dans chaque publication ;
- analyses longitudinales permettant de suivre l’évolution d’un même système dans le temps ;
- travaux spécialisés par domaine d’usage ;
- publications techniques, jeux de données et méthodologies ouvertes.
NeoMundi Recherche ne cherche pas à réduire les systèmes d’IA à un classement ou à un score unique.
L’objectif est de construire une base commune de mesure, de traçabilité et de discussion, permettant aux comportements des systèmes génératifs d’être observés, comparés, documentés et utilisés comme signaux par les infrastructures de gouvernance.