Le Baromètre des IA NeoMundi est notre observatoire hebdomadaire et longitudinal dédié au suivi en conditions réelles des comportements des systèmes d’IA générative.
Chaque semaine, nous analysons un panel de 12 profils de modèles dé-identifiés à travers 4 questions fixes répétées 100 fois chacune (4 800 exécutions au total). Nous mesurons et scorons plusieurs dimensions clés : stabilité observable, validité factuelle, densité informationnelle, signaux de risque factuel, variation sémantique et efficience coût.
Ces observations continues permettent de détecter des tendances comportementales, des évolutions subtiles et des changements de régime silencieux que les benchmarks traditionnels ponctuels ne capturent pas.
Méthodologie et données publiques
Ce baromètre repose sur une méthodologie ouverte, transparente et reproductible. Cette cartographie est générée à partir des données publiques agrégées par un script Python. Les résultats s’appuient sur la baseline publique NeoMundi et sur la méthodologie complète de l’Observatoire.
Les scripts Python, les protocoles de scoring, les jeux de données bruts et les résultats agrégés sont publiés sur GitHub. Les scores sont des signaux de mesure, jamais des verdicts ni des classements.
Retrouvez ici l’ensemble des éditions des baromètres des Intelligences Artificielles, avec leurs analyses détaillées et observations spécifiques.
Tous les Baromètres IA Quand une IA répond de façon cohérente… mais ne dit plus exactement la même chose Cette semaine, le Baromètre met en lumière une forme particulièrement discrète d’instabilité : pour une même question, un même système peut générer plusieurs réponses plausibles, bien rédigées et apparemment logiques… tout en faisant varier la conclusion, […]
Tous les Baromètres IA Quand une réponse paraît solide… mais mérite tout de même une vérification Cette semaine, le Baromètre met en lumière un phénomène particulièrement insidieux : des réponses formulées avec assurance, plausibles au premier regard, mais qui contiennent des erreurs factuelles précises. Des réponses que beaucoup de lecteurs pourraient accepter sans sourciller. C’est
Tous les Baromètres IA Un profil change nettement de zone, alors que la météo générale reste calme Cette semaine, la moyenne générale reste calme. Cependant, l’un des systèmes observés a changé de comportement et a déclenché beaucoup plus souvent notre contrôle de vérification des réponses par rapport au Baromètre #1 de la semaine dernière. En
Tous les Baromètres IA Construire une baseline Pour construire ce premier baromètre, il a fallu constituer une baseline publique. Celle-ci a été construite sur 3 vagues d’exécution × 12 systèmes désidentifiés × 4 questions fixes × 100 répétitions, soit 14 400 observations finalisées. Cette baseline constitue le point de référence utilisé pour mesurer les évolutions
