L’Observatoire AI NeoMundi est notre programme de recherche public dédié à l’évaluation continue, transparente et reproductible des systèmes d’IA générative.
Nous publions régulièrement des cartographies thermodynamiques et des observations approfondies, dont le Baromètre des IA NeoMundi, qui suit dans le temps des profils de modèles dé-identifiés sur plusieurs dimensions : stabilité, validité factuelle, densité informationnelle, signaux de risque factuel, variation sémantique et efficience coût. Ces publications mettent en évidence des tendances comportementales et des changements de régime silencieux que les benchmarks traditionnels ponctuels ne peuvent pas détecter.
L’ensemble de nos travaux repose sur des méthodologies ouvertes et des données publiques. Les scripts de génération, les protocoles de scoring et les jeux de données bruts sont publiés sur GitHub, permettant aux chercheurs, développeurs et à la communauté AI d’auditer, reproduire et s’appuyer sur nos observations.
Si un système d’intelligence artificielle change de comportement sans changer de nom, comment le remarquer Une réponse isolée ne suffit pas. Le même système peut produire des réponses différentes à une question identique. Son comportement peut aussi évoluer au fil des jours, notamment lorsque son modèle, ses paramètres ou son infrastructure changent. La Météo des […]
Tous les Baromètres IA Niveau d’observation : 🟠 Orange — couverture insuffisante Sur 4 800 exécutions lancées auprès de 12 systèmes, 3 981 ont été entièrement mesurées, soit une couverture de 82,94 %, inférieure au seuil de publication standard de 90 %. La stabilité moyenne s’établit à 0,922 et la variation sémantique globale à 1,61
L’équipe de NeoMundi est heureuse de participer à une initiative pédagogique destinée à aider les étudiants à mieux comprendre la Météo des IA et les enjeux de fiabilité associés aux systèmes d’intelligence artificielle générative. Suivez la #meteodesIA sur X Cette démarche est exclusivement éducative. Son objectif est d’aider les étudiants à devenir des utilisateurs mieux
Tous les Baromètres IA Niveau d’observation : 🟡 Jaune Sur 4 800 exécutions réparties entre 12 systèmes, le Baromètre IA #12 reste très majoritairement en régime normal. La stabilité moyenne demeure pratiquement inchangée autour de 0,923. La variation sémantique globale atteint 1,41 %, contre 1,93 % lors du Baromètre #11. La couverture recule toutefois de
Tous les Baromètres IA Niveau d’observation : 🟢 Vert Sur 4 800 exécutions réparties entre 12 systèmes, le Baromètre IA #11 reste très majoritairement en régime normal, avec une stabilité moyenne pratiquement inchangée autour de 0,923. La variation sémantique globale atteint 1,93 %, contre 1,57 % lors du Baromètre #10. Les alertes factuelles restent limitées
L’analyse de James Moore des Baromètres IA #6 et #7 montre comment une évolution globale minime peut masquer des changements concentrés sur certains profils, certaines tâches et certains types d’alertes. Les Baromètres IA de NeoMundi ont été conçus pour rendre observable le comportement des systèmes d’IA dans le temps. Mais une fois la mesure produite,
Tous les Baromètres IA Niveau d’observation : 🟢 Vert Sur 4 800 exécutions réparties entre 12 systèmes, le Baromètre IA #10 reste très majoritairement en régime normal, avec une stabilité moyenne pratiquement inchangée à 0,9229. La variation sémantique globale recule à 1,57 %, contre 2,09 % lors du Baromètre #9, tandis que les alertes factuelles
Deux systèmes presque aussi stables peuvent différer de plus de 30 points en factualité Protocole 1 – 12 systèmes × 790 questions TruthfulQA La cartographie mensuelle NeoMundi d’août met à nouveau en regard douze profils d’IA désidentifiés selon plusieurs dimensions complémentaires : leur stabilité comportementale sur 790 questions TruthfulQA, la factualité de leurs réponses évaluée
Tous les Baromètres IA Niveau d’observation : 🟢 Vert Sur 4 800 exécutions réparties entre 12 systèmes, le Baromètre #9 reste très majoritairement en régime normal (97,12 %), avec une stabilité moyenne pratiquement inchangée à 0,9228. La variation sémantique progresse toutefois à 2,06 %, contre environ 1,06 % lors du 8ème baromètre, tandis que les
Tous les Baromètres IA Niveau d’observation : 🟢 Vert Cette semaine, le Baromètre des IA #8 confirme un retour au calme global et passe au niveau vert. Deux mouvements sont particulièrement notables : Cette édition présente également un nouvel exemple d’affirmation factuelle fragile intégrée à une réponse fluide et convaincante. Ce cas illustre l’intérêt possible
