L’Observatoire AI NeoMundi est notre programme de recherche public dédié à l’évaluation continue, transparente et reproductible des systèmes d’IA générative.
Nous publions régulièrement des cartographies thermodynamiques et des observations approfondies, dont le Baromètre des IA NeoMundi, qui suit dans le temps des profils de modèles dé-identifiés sur plusieurs dimensions : stabilité, validité factuelle, densité informationnelle, signaux de risque factuel, variation sémantique et efficience coût. Ces publications mettent en évidence des tendances comportementales et des changements de régime silencieux que les benchmarks traditionnels ponctuels ne peuvent pas détecter.
L’ensemble de nos travaux repose sur des méthodologies ouvertes et des données publiques. Les scripts de génération, les protocoles de scoring et les jeux de données bruts sont publiés sur GitHub, permettant aux chercheurs, développeurs et à la communauté AI d’auditer, reproduire et s’appuyer sur nos observations.
Tous les Baromètres IA Niveau d’observation 🟡 – Cette semaine, le Baromètre des IA #6 explore deux dimensions complémentaires. D’une part, une variabilité de volume : un même système peut aboutir au même résultat correct en générant des quantités de tokens très différentes. D’autre part, un retour au calme après le pic observé la semaine […]
L’observatoire NeoMundi a soumis Kimi K3 (Moonshot) à un protocole runtime complet : 1 200 exécutions valides – 120 situations répétées 10 fois, réparties dans 12 familles (factualité, raisonnement, gouvernance, médical, juridique, cybersécurité, opérations métier, et plus). Ce n’est pas un classement.Ce n’est pas un jugement.C’est une observation runtime. L’objectif est de rendre visible ce
Tous les Baromètres IA Baromètre IA #5 : un changement de régime comportemental devient observable Niveau d’observation : 🟠 Orange Ce cinquième Baromètre des Intelligences Artificielles met en évidence un changement comportemental significatif par rapport à la période précédente. La part des exécutions classées en régime normal recule de 95,33 % à 90,10 %, tandis
⚠️ La première version de cette cartographie des Intelligences Artificielles croisait deux protocoles distincts : une campagne large menée sur douze profils (LLM) soumis à 790 questions de TruthfulQA, et une campagne complémentaire reposant sur douze profils, trois catégories de questions et 150 observations par catégorie.Ce croisement permettait d’observer simultanément plusieurs dimensions du comportement des
Les entreprises n’ont plus besoin qu’on leur explique que l’intelligence artificielle comporte des risques. Elles le savent. Elles savent aussi qu’un système peut produire une réponse convaincante et pourtant fragile, qu’un fournisseur peut modifier un modèle ou son routage sans que ce changement soit immédiatement visible, et qu’une application parfaitement disponible sur le plan technique
Tous les Baromètres IA Quand une IA répond de façon cohérente… mais ne dit plus exactement la même chose Cette semaine, le Baromètre met en lumière une forme particulièrement discrète d’instabilité : pour une même question, un même système peut générer plusieurs réponses plausibles, bien rédigées et apparemment logiques… tout en faisant varier la conclusion,
Par Frédéric Dumollard, ancien inspecteur réseaux, agent général puis courtier en assurances. Après des années passées au cœur de la souscription des risques d’entreprise, il est aujourd’hui co-fondateur de NeoMundi et apporte son regard d’expert sur les nouveaux défis assurantiels posés par l’IA générative. DOI : 10.5281/zenodo.21222308 Pourquoi un ancien souscripteur s’empare de ce sujet
Tous les Baromètres IA Quand une réponse paraît solide… mais mérite tout de même une vérification Cette semaine, le Baromètre met en lumière un phénomène particulièrement insidieux : des réponses formulées avec assurance, plausibles au premier regard, mais qui contiennent des erreurs factuelles précises. Des réponses que beaucoup de lecteurs pourraient accepter sans sourciller. C’est
NeoMundi a le plaisir d’annoncer son acceptation au sein du programme NVIDIA Inception. Une infrastructure de gouvernance runtime déjà opérationnelle NeoMundi rejoint NVIDIA Inception afin d’accélérer le développement de ControlTower, notre infrastructure de mesure, d’auditabilité et de gouvernance runtime des systèmes d’IA. À mesure que les organisations déploient massivement des IA en production, la question
Tous les Baromètres IA Un profil change nettement de zone, alors que la météo générale reste calme Cette semaine, la moyenne générale reste calme. Cependant, l’un des systèmes observés a changé de comportement et a déclenché beaucoup plus souvent notre contrôle de vérification des réponses par rapport au Baromètre #1 de la semaine dernière. En
