L’Observatoire AI NeoMundi est notre programme de recherche public dédié à l’évaluation continue, transparente et reproductible des systèmes d’IA générative.
Nous publions régulièrement des cartographies thermodynamiques et des observations approfondies, dont le Baromètre des IA NeoMundi, qui suit dans le temps des profils de modèles dé-identifiés sur plusieurs dimensions : stabilité, validité factuelle, densité informationnelle, signaux de risque factuel, variation sémantique et efficience coût. Ces publications mettent en évidence des tendances comportementales et des changements de régime silencieux que les benchmarks traditionnels ponctuels ne peuvent pas détecter.
L’ensemble de nos travaux repose sur des méthodologies ouvertes et des données publiques. Les scripts de génération, les protocoles de scoring et les jeux de données bruts sont publiés sur GitHub, permettant aux chercheurs, développeurs et à la communauté AI d’auditer, reproduire et s’appuyer sur nos observations.
⚠️ La première version de cette cartographie des Intelligences Artificielles croisait deux protocoles distincts : une campagne large menée sur douze profils (LLM) soumis à 790 questions de TruthfulQA, et une campagne complémentaire reposant sur douze profils, trois catégories de questions et 150 observations par catégorie.Ce croisement permettait d’observer simultanément plusieurs dimensions du comportement des […]
Les entreprises n’ont plus besoin qu’on leur explique que l’intelligence artificielle comporte des risques. Elles le savent. Elles savent aussi qu’un système peut produire une réponse convaincante et pourtant fragile, qu’un fournisseur peut modifier un modèle ou son routage sans que ce changement soit immédiatement visible, et qu’une application parfaitement disponible sur le plan technique
Tous les Baromètres IA Quand une IA répond de façon cohérente… mais ne dit plus exactement la même chose Cette semaine, le Baromètre met en lumière une forme particulièrement discrète d’instabilité : pour une même question, un même système peut générer plusieurs réponses plausibles, bien rédigées et apparemment logiques… tout en faisant varier la conclusion,
Par Frédéric Dumollard, ancien inspecteur réseaux, agent général puis courtier en assurances. Après des années passées au cœur de la souscription des risques d’entreprise, il est aujourd’hui co-fondateur de NeoMundi et apporte son regard d’expert sur les nouveaux défis assurantiels posés par l’IA générative. DOI : 10.5281/zenodo.21222308 Pourquoi un ancien souscripteur s’empare de ce sujet
Tous les Baromètres IA Quand une réponse paraît solide… mais mérite tout de même une vérification Cette semaine, le Baromètre met en lumière un phénomène particulièrement insidieux : des réponses formulées avec assurance, plausibles au premier regard, mais qui contiennent des erreurs factuelles précises. Des réponses que beaucoup de lecteurs pourraient accepter sans sourciller. C’est
NeoMundi a le plaisir d’annoncer son acceptation au sein du programme NVIDIA Inception. Une infrastructure de gouvernance runtime déjà opérationnelle NeoMundi rejoint NVIDIA Inception afin d’accélérer le développement de ControlTower, notre infrastructure de mesure, d’auditabilité et de gouvernance runtime des systèmes d’IA. À mesure que les organisations déploient massivement des IA en production, la question
Tous les Baromètres IA Un profil change nettement de zone, alors que la météo générale reste calme Cette semaine, la moyenne générale reste calme. Cependant, l’un des systèmes observés a changé de comportement et a déclenché beaucoup plus souvent notre contrôle de vérification des réponses par rapport au Baromètre #1 de la semaine dernière. En
Dans le cadre des travaux de l’Observatoire IA de NeoMundi, nous publions aujourd’hui une contribution de James Moore, fondateur de Nova Jema AI Systems et spécialiste de la gouvernance des systèmes d’intelligence artificielle en conditions réelles d’exécution. Il a eu la gentillesse de nous transmettre une réflexion précise sur un sujet souvent négligé : une
Tous les Baromètres IA Construire une baseline Pour construire ce premier baromètre, il a fallu constituer une baseline publique. Celle-ci a été construite sur 3 vagues d’exécution × 12 systèmes désidentifiés × 4 questions fixes × 100 répétitions, soit 14 400 observations finalisées. Cette baseline constitue le point de référence utilisé pour mesurer les évolutions
Contributeur scientifique / Data Scientist – Observatoire IA NeoMundi La plupart des discussions sur la gouvernance de l’IA commencent trop tard. Nous pensons que la mesure doit venir en premier. Nous avons développé ControlTower, un instrument de diagnostic, de pilotage et de traçabilité conçu pour observer en continu le risque des réponses IA en conditions
