L’Observatoire AI NeoMundi est notre programme de recherche public dédié à l’évaluation continue, transparente et reproductible des systèmes d’IA générative.
Nous publions régulièrement des cartographies thermodynamiques et des observations approfondies, dont le Baromètre des IA NeoMundi, qui suit dans le temps des profils de modèles dé-identifiés sur plusieurs dimensions : stabilité, validité factuelle, densité informationnelle, signaux de risque factuel, variation sémantique et efficience coût. Ces publications mettent en évidence des tendances comportementales et des changements de régime silencieux que les benchmarks traditionnels ponctuels ne peuvent pas détecter.
L’ensemble de nos travaux repose sur des méthodologies ouvertes et des données publiques. Les scripts de génération, les protocoles de scoring et les jeux de données bruts sont publiés sur GitHub, permettant aux chercheurs, développeurs et à la communauté AI d’auditer, reproduire et s’appuyer sur nos observations.
L’équipe de NeoMundi est heureuse de participer à une initiative pédagogique destinée à aider les étudiants à mieux comprendre la Météo des IA et les enjeux de fiabilité associés aux systèmes d’intelligence artificielle générative. Cette démarche est exclusivement éducative. Son objectif est d’aider les étudiants à devenir des utilisateurs mieux informés de l’intelligence artificielle : […]
Tous les Baromètres IA Niveau d’observation : 🟡 Jaune Sur 4 800 exécutions réparties entre 12 systèmes, le Baromètre IA #12 reste très majoritairement en régime normal. La stabilité moyenne demeure pratiquement inchangée autour de 0,923. La variation sémantique globale atteint 1,41 %, contre 1,93 % lors du Baromètre #11. La couverture recule toutefois de
Tous les Baromètres IA Niveau d’observation : 🟢 Vert Sur 4 800 exécutions réparties entre 12 systèmes, le Baromètre IA #11 reste très majoritairement en régime normal, avec une stabilité moyenne pratiquement inchangée autour de 0,923. La variation sémantique globale atteint 1,93 %, contre 1,57 % lors du Baromètre #10. Les alertes factuelles restent limitées
L’analyse de James Moore des Baromètres IA #6 et #7 montre comment une évolution globale minime peut masquer des changements concentrés sur certains profils, certaines tâches et certains types d’alertes. Les Baromètres IA de NeoMundi ont été conçus pour rendre observable le comportement des systèmes d’IA dans le temps. Mais une fois la mesure produite,
Tous les Baromètres IA Niveau d’observation : 🟢 Vert Sur 4 800 exécutions réparties entre 12 systèmes, le Baromètre IA #10 reste très majoritairement en régime normal, avec une stabilité moyenne pratiquement inchangée à 0,9229. La variation sémantique globale recule à 1,57 %, contre 2,09 % lors du Baromètre #9, tandis que les alertes factuelles
Deux systèmes presque aussi stables peuvent différer de plus de 30 points en factualité Protocole 1 – 12 systèmes × 790 questions TruthfulQA La cartographie mensuelle NeoMundi d’août met à nouveau en regard douze profils d’IA désidentifiés selon plusieurs dimensions complémentaires : leur stabilité comportementale sur 790 questions TruthfulQA, la factualité de leurs réponses évaluée
Tous les Baromètres IA Niveau d’observation : 🟢 Vert Sur 4 800 exécutions réparties entre 12 systèmes, le Baromètre #9 reste très majoritairement en régime normal (97,12 %), avec une stabilité moyenne pratiquement inchangée à 0,9228. La variation sémantique progresse toutefois à 2,06 %, contre environ 1,06 % lors du 8ème baromètre, tandis que les
Tous les Baromètres IA Niveau d’observation : 🟢 Vert Cette semaine, le Baromètre des IA #8 confirme un retour au calme global et passe au niveau vert. Deux mouvements sont particulièrement notables : Cette édition présente également un nouvel exemple d’affirmation factuelle fragile intégrée à une réponse fluide et convaincante. Ce type de cas, difficile
Tous les Baromètres IA Niveau d’observation : 🟡 Jaune Cette semaine, le Baromètre des IA #7 met en lumière deux dimensions complémentaires. D’une part, le calme global observé lors du Baromètre des IA numéro 6 se confirme : la variation sémantique moyenne diminue et la majorité des profils restent proches de leur régime habituel. D’autre
Fatima Ezzahrae Gouarab, Data Scientist, statisticienne et contributrice scientifique de l’Observatoire NeoMundi Recherche, mène un travail consacré à la stabilité et à la reproductibilité des signaux produits par NeoMundi ControlTower. DOI : https://doi.org/10.5281/zenodo.21499715 Cette première phase expérimentale repose sur 680 générations, réalisées auprès de trois fournisseurs de modèles, avec deux températures de génération et plusieurs
