Le Baromètre des IA NeoMundi est notre observatoire hebdomadaire et longitudinal dédié au suivi en conditions réelles des comportements des systèmes d’IA générative.
Chaque semaine, nous analysons un panel de 12 profils de modèles dé-identifiés à travers 4 questions fixes répétées 100 fois chacune (4 800 exécutions au total). Nous mesurons et scorons plusieurs dimensions clés : stabilité observable, validité factuelle, densité informationnelle, signaux de risque factuel, variation sémantique et efficience coût.
Ces observations continues permettent de détecter des tendances comportementales, des évolutions subtiles et des changements de régime silencieux que les benchmarks traditionnels ponctuels ne capturent pas.
Méthodologie et données publiques
Ce baromètre repose sur une méthodologie ouverte, transparente et reproductible. Cette cartographie est générée à partir des données publiques agrégées par un script Python. Les résultats s’appuient sur la baseline publique NeoMundi et sur la méthodologie complète de l’Observatoire.
Les scripts Python, les protocoles de scoring, les jeux de données bruts et les résultats agrégés sont publiés sur GitHub. Les scores sont des signaux de mesure, jamais des verdicts ni des classements.
Retrouvez ici l’ensemble des éditions des baromètres des Intelligences Artificielles, avec leurs analyses détaillées et observations spécifiques.
Tous les Baromètres IA Niveau d’observation : 🟡 Jaune Sur 4 800 exécutions réparties entre 12 systèmes, le Baromètre IA #12 reste très majoritairement en régime normal. La stabilité moyenne demeure pratiquement inchangée autour de 0,923. La variation sémantique globale atteint 1,41 %, contre 1,93 % lors du Baromètre #11. La couverture recule toutefois de […]
Tous les Baromètres IA Niveau d’observation : 🟢 Vert Sur 4 800 exécutions réparties entre 12 systèmes, le Baromètre IA #11 reste très majoritairement en régime normal, avec une stabilité moyenne pratiquement inchangée autour de 0,923. La variation sémantique globale atteint 1,93 %, contre 1,57 % lors du Baromètre #10. Les alertes factuelles restent limitées
Tous les Baromètres IA Niveau d’observation : 🟢 Vert Sur 4 800 exécutions réparties entre 12 systèmes, le Baromètre IA #10 reste très majoritairement en régime normal, avec une stabilité moyenne pratiquement inchangée à 0,9229. La variation sémantique globale recule à 1,57 %, contre 2,09 % lors du Baromètre #9, tandis que les alertes factuelles
Tous les Baromètres IA Niveau d’observation : 🟢 Vert Sur 4 800 exécutions réparties entre 12 systèmes, le Baromètre #9 reste très majoritairement en régime normal (97,12 %), avec une stabilité moyenne pratiquement inchangée à 0,9228. La variation sémantique progresse toutefois à 2,06 %, contre environ 1,06 % lors du 8ème baromètre, tandis que les
Tous les Baromètres IA Niveau d’observation : 🟢 Vert Cette semaine, le Baromètre des IA #8 confirme un retour au calme global et passe au niveau vert. Deux mouvements sont particulièrement notables : Cette édition présente également un nouvel exemple d’affirmation factuelle fragile intégrée à une réponse fluide et convaincante. Ce type de cas, difficile
Tous les Baromètres IA Niveau d’observation : 🟡 Jaune Cette semaine, le Baromètre des IA #7 met en lumière deux dimensions complémentaires. D’une part, le calme global observé lors du Baromètre des IA numéro 6 se confirme : la variation sémantique moyenne diminue et la majorité des profils restent proches de leur régime habituel. D’autre
Tous les Baromètres IA Niveau d’observation 🟡 – Cette semaine, le Baromètre des IA #6 explore deux dimensions complémentaires. D’une part, une variabilité de volume : un même système peut aboutir au même résultat correct en générant des quantités de tokens très différentes. D’autre part, un retour au calme après le pic observé la semaine
Tous les Baromètres IA Baromètre IA #5 : un changement de régime comportemental devient observable Niveau d’observation : 🟠 Orange Ce cinquième Baromètre des Intelligences Artificielles met en évidence un changement comportemental significatif par rapport à la période précédente. La part des exécutions classées en régime normal recule de 95,33 % à 90,10 %, tandis
Tous les Baromètres IA Quand une IA répond de façon cohérente… mais ne dit plus exactement la même chose Cette semaine, le Baromètre met en lumière une forme particulièrement discrète d’instabilité : pour une même question, un même système peut générer plusieurs réponses plausibles, bien rédigées et apparemment logiques… tout en faisant varier la conclusion,
Tous les Baromètres IA Quand une réponse paraît solide… mais mérite tout de même une vérification Cette semaine, le Baromètre met en lumière un phénomène particulièrement insidieux : des réponses formulées avec assurance, plausibles au premier regard, mais qui contiennent des erreurs factuelles précises. Des réponses que beaucoup de lecteurs pourraient accepter sans sourciller. C’est
