L’Observatoire AI NeoMundi est notre programme de recherche public dédié à l’évaluation continue, transparente et reproductible des systèmes d’IA générative.
Nous publions régulièrement des cartographies thermodynamiques et des observations approfondies, dont le Baromètre des IA NeoMundi, qui suit dans le temps des profils de modèles dé-identifiés sur plusieurs dimensions : stabilité, validité factuelle, densité informationnelle, signaux de risque factuel, variation sémantique et efficience coût. Ces publications mettent en évidence des tendances comportementales et des changements de régime silencieux que les benchmarks traditionnels ponctuels ne peuvent pas détecter.
L’ensemble de nos travaux repose sur des méthodologies ouvertes et des données publiques. Les scripts de génération, les protocoles de scoring et les jeux de données bruts sont publiés sur GitHub, permettant aux chercheurs, développeurs et à la communauté AI d’auditer, reproduire et s’appuyer sur nos observations.
Tous les Baromètres IA Niveau d’observation : 🟡 Jaune Cette semaine, le Baromètre des IA #7 met en lumière deux dimensions complémentaires. D’une part, le calme global observé lors du Baromètre des IA numéro 6 se confirme : la variation sémantique moyenne diminue et la majorité des profils restent proches de leur régime habituel. D’autre […]
Fatima Ezzahrae Gouarab, Data Scientist, statisticienne et contributrice scientifique de l’Observatoire NeoMundi Recherche, mène un travail consacré à la stabilité et à la reproductibilité des signaux produits par NeoMundi ControlTower. DOI : https://doi.org/10.5281/zenodo.21499715 Cette première phase expérimentale repose sur 680 générations, réalisées auprès de trois fournisseurs de modèles, avec deux températures de génération et plusieurs
Tous les Baromètres IA Niveau d’observation 🟡 – Cette semaine, le Baromètre des IA #6 explore deux dimensions complémentaires. D’une part, une variabilité de volume : un même système peut aboutir au même résultat correct en générant des quantités de tokens très différentes. D’autre part, un retour au calme après le pic observé la semaine
L’observatoire NeoMundi a soumis Kimi K3 (Moonshot) à un protocole runtime complet : 1 200 exécutions valides – 120 situations répétées 10 fois, réparties dans 12 familles (factualité, raisonnement, gouvernance, médical, juridique, cybersécurité, opérations métier, et plus). Ce n’est pas un classement.Ce n’est pas un jugement.C’est une observation runtime. L’objectif est de rendre visible ce
Note de lecture — 15 octobre 2026. Cette campagne s’inscrit dans une période de maintenance de l’instrument de mesure NeoMundi. Les observations sont conservées telles que publiées ; leur comparaison avec les périodes voisines exige de tenir compte de la configuration instrumentale alors utilisée. Le récit et la carte de synthèse rapportent des agrégats différents
Note de lecture — 15 octobre 2026. Campagnes exploratoires de juillet 2026. Les deux protocoles ci-dessous sont présentés dans des sections distinctes et ne doivent pas être agrégés. Les scores dépendent de la chaîne de mesure, de la configuration des évaluateurs et de la couverture de l’époque. L’accord entre juges IA n’est pas une preuve
Note de lecture — 15 octobre 2026. Cet article présente la démarche de recherche appliquée de NeoMundi. Les références au NIST, à l’ISO et à l’AI Act donnent un contexte ; elles n’impliquent ni approbation, ni certification, ni preuve de conformité. Les comparaisons historiques demandent de vérifier les protocoles, les versions des évaluateurs et la
Note de lecture — 15 octobre 2026. Cette publication restitue une campagne de juin–juillet 2026. Les chiffres décrivent les signaux enregistrés par la chaîne de mesure de l’époque, et non des taux d’erreurs vérifiés ou une évaluation générale de la fiabilité des modèles. Toute comparaison temporelle exige de vérifier les protocoles, les versions des évaluateurs
Note de lecture — 15 octobre 2026. Cette contribution présente un point de vue de souscription à partir des affaires et campagnes citées lors de sa rédaction. Elle n’établit ni validation actuarielle, ni méthode de tarification, ni réduction démontrée des sinistres. Les signaux historiques demandent une vérification de leur chaîne de mesure ; les références
Note de lecture — 15 octobre 2026. Cette publication restitue une campagne de juin–juillet 2026. Les chiffres décrivent les signaux enregistrés par la chaîne de mesure de l’époque, et non des taux d’erreurs vérifiés ou une évaluation générale de la fiabilité des modèles. Toute comparaison temporelle exige de vérifier les protocoles, les versions des évaluateurs
