Baromètre NeoMundi #1 – Semaine du 15 au 21 juin 2026

Construire une baseline

Pour construire ce premier baromètre, il a fallu constituer une baseline publique. Celle-ci a été construite sur 3 vagues d’exécution × 12 systèmes désidentifiés × 4 questions fixes × 100 répétitions, soit 14 400 observations finalisées. Cette baseline constitue le point de référence utilisé pour mesurer les évolutions observées au fil des publications hebdomadaires. Consultez la baseline et les données publique sur notre GitHub.

Les quatre questions suivies chaque semaine

Les mêmes quatre questions sont rejouées dans des conditions comparables afin d’observer les comportements de raisonnement, d’explication scientifique, d’interprétation conceptuelle et d’incertitude ouverte.

1. Raisonnement : Une batte et une balle coûtent 1,10 € au total. La batte coûte 1 € de plus que la balle. Combien coûte la balle ?
2. Explication scientifique : Pourquoi y a-t-il des saisons sur Terre ?
3. Question conceptuelle ouverte : Pourquoi une réponse IA stable n’est-elle pas nécessairement factuellement correcte ?
4. Question épistémique ouverte : Donnez un exemple de croyance largement admise mais qui pourrait être fausse. Expliquez comment elle pourrait être vérifiée.
Toute la méthodologie est disponible ici

12 systèmes IA observés. 4 800 exécutions analysées. Publication désidentifiée.

Le Baromètre NeoMundi suit l’évolution du comportement de systèmes d’intelligence artificielle dans des conditions réelles d’exécution.

Son objectif n’est pas d’établir un classement, ni de désigner de “bons” ou de “mauvais” modèles. Il vise à rendre visibles des phénomènes souvent invisibles : stabilité, variabilité, cohérence, signaux de risque et écarts entre réponses produites dans des conditions comparables.

Les systèmes observés sont désidentifiés. Les résultats sont publiés sous forme agrégée afin de documenter les comportements collectifs du panel, sans transformer l’Observatoire en leaderboard.

Derrière une stabilité moyenne élevée, les systèmes ne se comportent pas tous pareil

À première vue, les 12 systèmes observés semblent assez proches : ils produisent souvent des réponses stables et cohérentes.

Mais quand on regarde de plus près, on voit qu’ils ne réagissent pas tous de la même manière.

C’est un peu comme douze voitures qui roulent toutes sur la même route : elles avancent toutes, mais certaines restent bien dans leur voie, d’autres bougent davantage, et certaines peuvent sembler calmes tout en faisant parfois une erreur importante.

Dans la baseline NeoMundi, la stabilité observée varie de 0,8005 à 0,8274 selon les profils. Les signaux de fragilité factuelle vont de 0,0018 à 0,0544. La variation sémantique, c’est-à-dire le fait que le sens utile de la réponse puisse changer d’un essai à l’autre, varie de 0,0006 à 0,0723.

Cela veut dire une chose simple : deux IA peuvent sembler également stables, mais ne pas présenter le même niveau de variation ni le même risque de fragilité factuelle.

Le Baromètre ne cherche donc pas à dire quelle IA est “la meilleure”. Il sert à voir si les comportements restent comparables, changent doucement, ou commencent à dériver avec le temps

Une même question peut ne pas produire la même réponse

Sur les 12 profils observés, la variation sémantique n’est pas répartie de manière égale.

Chez certains profils, elle est quasiment absente. Chez d’autres, elle atteint 11,5 %.

Concrètement, cela veut dire que, pour certains systèmes, près d’une réponse sur neuf change suffisamment de sens d’une exécution à l’autre pour être détectée par l’instrument, alors même que la question, les conditions du test et le protocole restent comparables.

Ce n’est pas forcément une erreur. Une IA peut répondre différemment tout en restant pertinente.

Mais ce n’est pas neutre non plus.

Dans un usage professionnel, conseil juridique, santé, support client, décision financière, agent autonome, une réponse qui change peut aussi modifier une recommandation, une priorité, une explication ou le niveau de confiance accordé à une décision.

Le sujet n’est donc pas seulement : “l’IA répond-elle bien ?”
Le sujet devient : “répond-elle de façon suffisamment prévisible pour être utilisée et contrôlée ?”

La carte des comportements observés

Chaque point représente un profil désidentifié.
Plus il monte, plus ses réponses changent de sens entre deux exécutions comparables. Plus il va vers la droite, plus les signaux de fragilité factuelle augmentent.
Cette carte ne classe pas les IA : elle montre que des systèmes qui paraissent proches peuvent avoir des comportements très différents.

Cette cartographie est générée à partir des données publiques agrégées par un script Python reproductible, disponible ici : voir le générateur de cartographie.

Certaines IA changent suffisamment de sens une fois sur neuf, à question identique.

Le comportement d’une IA change avec la question posée

Les quatre questions suivies chaque semaine ne demandent pas le même effort :

• résoudre un petit problème de calcul ;
• expliquer un phénomène scientifique ;
• réfléchir à la différence entre stabilité et vérité ;
• raisonner dans une zone d’incertitude.

Sur les deux premières, les réponses varient très peu.
Sur la troisième, elles restent assez stables mais présentent davantage de fragilité factuelle.
Sur la quatrième, la variation sémantique atteint 10,54 % : près d’une réponse sur dix change suffisamment de sens pour être détectée.

C’est assez intuitif : les humains aussi répondraient plus facilement de la même façon à un calcul court qu’à une question ouverte sur ce qui pourrait être faux dans nos croyances.

Une IA n’a donc pas une fiabilité unique. Son comportement dépend aussi de la nature de la question qu’on lui pose.

Couverture de mesure : 27 cas incomplets

Sur 4 800 exécutions, 27 n’ont pas produit un jeu de mesure complet, soit 0,56 %.
C’est faible, mais ce n’est pas invisible : une IA peut répondre normalement alors que certains signaux nécessaires à son suivi ne sont pas disponibles.
En gouvernance, une mesure incomplète fait déjà partie du résultat.

Ce que les scores permettent, et ce qu’ils ne prouvent pas

Le comportement d’une IA change avec la question posée
Dans cette première campagne, plusieurs indicateurs, stabilité, validité et risque factuel, sont reliés dans une même chaîne de calcul.

Ils aident à lire un comportement, mais ne constituent pas trois preuves indépendantes.
Le Baromètre ne transforme pas des scores en verdicts. Il rend visibles des signaux qui doivent être interprétés ensemble.