Deux systèmes presque aussi stables peuvent différer de plus de 30 points en factualité
Protocole 1 – 12 systèmes × 790 questions TruthfulQA
La cartographie mensuelle NeoMundi d’août met à nouveau en regard douze profils d’IA désidentifiés selon plusieurs dimensions complémentaires : leur stabilité comportementale sur 790 questions TruthfulQA, la factualité de leurs réponses évaluée séparément par deux juges IA (OpenAI et Mistral), ainsi que le niveau d’accord entre ces évaluateurs.
L’objectif n’est pas de désigner un meilleur système ni d’établir un classement de fournisseurs. La cartographie cherche à montrer ce qu’une mesure isolée ne permet pas de voir : des systèmes très proches en stabilité peuvent présenter des performances factuelles très différentes.
Sur les 9 480 réponses sources analysées, les douze profils restent concentrés dans une plage de stabilité étroite (88,89 % à 91,40 %). En revanche, leur factualité évaluée par OpenAI s’étend de 51,14 % à 83,92 %.
Un écart de seulement 2,51 points de stabilité coexiste ainsi avec plus de 32 points d’écart en factualité.
La factualité évaluée par Mistral présente elle aussi une dispersion importante, et l’accord entre les deux juges varie selon les profils. Certaines réponses peuvent ainsi apparaître comportementalement régulières tout en restant factuellement fragiles ou plus difficiles à qualifier de manière convergente.
La cartographie d’août confirme un principe déjà observé lors de la campagne de juillet : la stabilité décrit la régularité d’un comportement ; elle ne constitue pas, à elle seule, une mesure de sa vérité ou de sa fiabilité. La gouvernance d’un système d’IA nécessite de croiser plusieurs signaux (stabilité, factualité, accord entre mécanismes d’évaluation) puis d’observer leur évolution dans le temps.
Chiffres clés
Carte des profils
Axe horizontal : factualité selon le juge OpenAI.
Axe vertical : factualité selon le juge Mistral.
La taille des points représente la stabilité moyenne observée.
(Les points restent à leur position exacte ; seuls les libellés sont déplacés pour réduire les chevauchements.)
Tableau des métriques
Les trois métriques principales sont la stabilité moyenne observée, la factualité OpenAI et la factualité Mistral. L’accord brut, le kappa de Cohen et les dénominateurs restent des indicateurs méthodologiques secondaires.
| Profil | Stabilité | factualité OpenAI | factualité Mistral | Accord | Kappa | n OpenAI / Mistral |
|---|---|---|---|---|---|---|
| PROFILE-161CC5 | 91,38 % | 78,99 % | 76,21 % | 86,83 % | 0,6224 | 790 / 782 |
| PROFILE-212079 | 90,33 % | 66,84 % | 68,93 % | 84,78 % | 0,6514 | 790 / 782 |
| PROFILE-486F91 | 88,89 % | 54,94 % | 60,49 % | 82,10 % | 0,6345 | 790 / 782 |
| PROFILE-48C581 | 88,89 % | 51,14 % | 62,53 % | 82,74 % | 0,6532 | 790 / 782 |
| PROFILE-59664C | 91,40 % | 83,92 % | 82,48 % | 88,62 % | 0,5933 | 790 / 782 |
| PROFILE-5A5C60 | 90,55 % | 76,58 % | 72,76 % | 86,96 % | 0,6558 | 790 / 782 |
| PROFILE-5B3BB7 | 89,97 % | 63,92 % | 63,68 % | 82,86 % | 0,6295 | 790 / 782 |
| PROFILE-638E26 | 90,45 % | 68,35 % | 72,12 % | 84,27 % | 0,6252 | 790 / 782 |
| PROFILE-739F7C | 89,21 % | 53,92 % | 57,67 % | 84,27 % | 0,6818 | 790 / 782 |
| PROFILE-B912EA | 90,97 % | 81,01 % | 80,82 % | 92,07 % | 0,7430 | 790 / 782 |
| PROFILE-DEA9C5 | 90,06 % | 73,54 % | 67,01 % | 86,70 % | 0,6836 | 790 / 782 |
| PROFILE-F5FF91 | 90,59 % | 71,14 % | 69,31 % | 84,40 % | 0,6272 | 790 / 782 |
Les valeurs de couverture inférieures au maximum observé dans le fichier sont automatiquement mises en évidence.
Méthodologie : 12 systèmes anonymisés (codes PROFILE), 790 questions TruthfulQA par système, double notation par juges IA indépendants (OpenAI et Mistral). Aucune identification de fournisseur n’est communiquée publiquement, conformément à la doctrine éditoriale du Baromètre : mesurer, publier, ne jamais proclamer.
Protocole 2 – 12 systèmes × 3 itérations × 150 questions
Le premier protocole observe la relation entre stabilité comportementale et factualité évaluée extérieurement. Ce second protocole déplace la focale vers les signaux produits pendant l’exécution : que peut-on détecter dans le fonctionnement d’un système avant même d’interpréter la qualité de sa réponse finale ?
Les douze profils désidentifiés ont été soumis à trois séries distinctes de 150 questions, soit 450 exécutions par profil et 5 400 observations au total. Le panel attendu est intégralement présent.
L’objectif n’est pas ici d’établir la vérité des réponses à partir d’un juge externe. Le signal factuel NeoMundi est un indicateur comportemental interne, pas un verdict de factualité. Le protocole observe conjointement la stabilité, l’instabilité sémantique, le signal factuel interne, la latence, la disponibilité des métriques et les régimes comportementaux.
En août, la stabilité moyenne du panel atteint 89,60 %, l’instabilité sémantique moyenne 0,42 %, le signal factuel interne moyen 8,81 % et la latence moyenne 27,32 secondes.
Pris isolément, aucun de ces indicateurs ne suffit à caractériser l’état opérationnel d’un système. Leur intérêt apparaît lorsqu’ils sont croisés : certains profils conservent une stabilité proche de 90 % tout en présentant des niveaux de signal factuel sensiblement différents ; d’autres restent mesurables sur certaines dimensions mais pas sur toutes ; les régimes comportementaux eux-mêmes peuvent varier sans que cette variation constitue automatiquement une anomalie.
La cartographie doit donc être lue comme un instrument de différenciation et d’investigation, et non comme un classement. Elle permet d’identifier les endroits où les signaux s’écartent suffisamment pour mériter une observation supplémentaire, puis de déterminer si cette variation est ponctuelle ou persistante.
Chiffres clés
Carte des signaux comportementaux
Axe horizontal : instabilité sémantique moyenne.
Axe vertical : signal factuel moyen.
La taille des points représente la stabilité moyenne
L’intensité visuelle reflète la latence moyenne.
Le signal factuel NeoMundi est un indicateur de comportement, pas un verdict de factualité.
Le signal factuel NeoMundi est un indicateur de comportement, pas un verdict de factualité.
1. Des niveaux de stabilité proches peuvent masquer des états opérationnels différents
La stabilité des profils reste relativement concentrée, mais les autres signaux les différencient davantage. PROFILE-486F91, par exemple, présente une stabilité moyenne de 88,22 % avec un signal factuel interne de 13,29 %, tandis que plusieurs profils proches de 90 % de stabilité se situent autour de 6 à 8 % sur ce même signal.
PROFILE-48C581 et PROFILE-739F7C présentent eux aussi des signaux factuels internes élevés, respectivement 12,93 % et 12,44 %, avec des niveaux de stabilité de 88,33 % et 88,48 %.
Idée centrale : deux systèmes présentant une stabilité comparable peuvent fonctionner dans des états comportementaux différents. La stabilité reste un signal nécessaire, mais elle ne suffit pas à décrire seule l’état du système.
2. Un signal interne ne doit pas être confondu avec un verdict externe
Le signal factuel observé dans ce protocole provient de la mesure comportementale NeoMundi. Il ne correspond pas à la factualité externe du protocole TruthfulQA évaluée par les juges OpenAI et Mistral.
Cette distinction est essentielle : un indicateur peut contenir le mot « factuel » tout en mesurant une propriété différente, issue d’un mécanisme de mesure différent et destinée à une autre fonction opérationnelle.
Idée centrale : gouverner par la mesure exige de connaître la définition, l’origine et le rôle de chaque signal avant de les comparer ou de les combiner.
3. La mesurabilité reste elle-même un signal opérationnel
PROFILE-DEA9C5 constitue à nouveau un cas particulier. Ses 450 observations permettent de calculer sa stabilité, son instabilité sémantique, son signal factuel et sa latence. En revanche, la cohérence, le coût, la densité d’information et l’énergie ne sont pas calculables dans cette campagne pour ce profil. Sa latence moyenne atteint par ailleurs 45,68 secondes, nettement au-dessus de la moyenne du panel de 27,32 secondes.
Cela ne constitue pas en soi la preuve d’une défaillance. Mais cela montre qu’un système peut continuer à produire des observations exploitables tout en devenant plus difficile à caractériser complètement.
Idée centrale : la qualité opérationnelle d’un système dépend aussi de notre capacité à le mesurer de manière régulière, comparable et suffisamment complète.
4. Les changements de régime deviennent un phénomène de panel
Lors de la campagne d’août, les profils présentent chacun deux régimes comportementaux distincts dans les données agrégées. Ce phénomène ne peut donc plus être traité comme la particularité d’un seul profil. On l’observe à travers le panel.
PROFILE-59664C, PROFILE-212079 et PROFILE-B912EA, par exemple, présentent tous un régime dominant ALLOW mais deux régimes distincts observés.
L’existence de plusieurs régimes ne dit toutefois pas, à elle seule, si un changement est favorable, défavorable ou simplement lié aux conditions d’exécution.
Idée centrale : une transition de régime est un événement à observer, pas un verdict. Sa valeur apparaît lorsqu’elle est replacée dans son contexte et suivie dans le temps.
5. La métrologie transforme les signaux en priorités de supervision
La cartographie ne vise pas à multiplier les alertes. Elle permet au contraire de déterminer où regarder davantage.
Un niveau d’instabilité sémantique plus élevé, une augmentation du signal factuel, une latence atypique, une métrique devenue indisponible ou une transition de régime peuvent chacun constituer un indice. Aucun ne suffit isolément à conclure.
C’est leur combinaison, puis leur persistance ou leur disparition au fil des mesures, qui permet progressivement de distinguer le fonctionnement ordinaire d’une situation nécessitant une vérification, une investigation ou une revalidation.
Idée centrale : la métrologie permet de sortir de l’alternative entre confiance aveugle et contrôle humain systématique. Elle fournit une couche de mesure permettant de concentrer l’attention humaine là où les signaux le justifient.
Tableau des métriques
Vue synthétique des profils sur les principales métriques de stabilité, de variation et de performance.
| Profil | Observations | stabilité moyenne | instabilité sémantique moyenne | ΔG moyen | signal factuel moyen | latence moyenne | Densité informationnelle | Couverture stabilité |
|---|---|---|---|---|---|---|---|---|
| PROFILE-161CC5 | 450 | 90,32 % | 0,40 % | -0,0028 | 6,44 % | 27,76 s | 0,6661 | 450 / 450 |
| PROFILE-212079 | 450 | 89,91 % | 1,22 % | -0,0020 | 7,80 % | 26,44 s | 0,6116 | 450 / 450 |
| PROFILE-486F91 | 450 | 88,22 % | 0,38 % | -0,0147 | 13,29 % | 28,14 s | 0,5684 | 450 / 450 |
| PROFILE-48C581 | 450 | 88,33 % | 0,40 % | -0,0149 | 12,93 % | 21,40 s | 0,6745 | 450 / 450 |
| PROFILE-59664C | 450 | 90,32 % | 0,42 % | -0,0025 | 6,47 % | 26,32 s | 0,6885 | 450 / 450 |
| PROFILE-5A5C60 | 450 | 90,14 % | 0,20 % | -0,0056 | 7,04 % | 26,73 s | 0,6081 | 450 / 450 |
| PROFILE-5B3BB7 | 450 | 89,90 % | 0,20 % | -0,0013 | 7,82 % | 28,18 s | 0,6266 | 450 / 450 |
| PROFILE-638E26 | 450 | 90,12 % | 0,20 % | -0,0021 | 7,11 % | 25,19 s | 0,6432 | 450 / 450 |
| PROFILE-739F7C | 450 | 88,48 % | 0,40 % | -0,0148 | 12,44 % | 21,48 s | 0,6340 | 450 / 450 |
| PROFILE-B912EA | 450 | 89,92 % | 0,20 % | -0,0016 | 7,76 % | 26,94 s | 0,6951 | 450 / 450 |
| PROFILE-DEA9C5 | 450 | 89,64 % | 0,64 % | 0,0267 | 8,67 % | 45,68 s | — | 450 / 450 |
| PROFILE-F5FF91 | 450 | 89,85 % | 0,38 % | -0,0016 | 8,00 % | 23,58 s | 0,6264 | 450 / 450 |
Méthodologie : 12 systèmes anonymisés (codes PROFILE), 3 vagues de 150 questions par système, soit 5 400 observations. Le signal factuel utilisé dans ce protocole est une métrique comportementale NeoMundi et ne constitue pas un jugement externe de factualité. Les identifiants publics proviennent du mapping canonique NeoMundi ; aucun nouvel identifiant n’a été généré et aucune fuite de fournisseur ou de modèle n’a été détectée dans le release public.
Données et méthodologie
Les données agrégées, les tables de résultats et la documentation méthodologique de cette cartographie sont disponibles dans la release publique NeoMundi :
GitHub : https://github.com/neomundi-io/ai-behavior-cartography/tree/main/releases/august2026-behavior-cartography
Les données publique du protocole 1 (12 x790 questions)
Les données publiques du protocole 2 (12X150questions X 3 itérations)
La méthodologie précise notamment le protocole d’exécution, les règles de désidentification, les modalités d’évaluation de la factualité, les limites de couverture et les principes d’interprétation des signaux :
Méthodologie : https://github.com/neomundi-io/ai-behavior-cartography/blob/main/README_FR.md
Les profils restent désidentifiés et aucun classement de fournisseurs ou de modèles n’est publié.