Cartographie des IA juillet 2026, mesure du comportement de 12 LLM

⚠️ La première version de cette cartographie des Intelligences Artificielles croisait deux protocoles distincts : une campagne large menée sur douze profils (LLM) soumis à 790 questions de TruthfulQA, et une campagne complémentaire reposant sur douze profils, trois catégories de questions et 150 observations par catégorie.
Ce croisement permettait d’observer simultanément plusieurs dimensions du comportement des systèmes, mais il rendait la lecture plus dense et pouvait donner l’impression que les deux protocoles mesuraient exactement la même chose.

📌 Pour gagner en clarté, en lisibilité et en rigueur méthodologique, nous avons donc choisi de présenter désormais ces mesures séparément.

La cartographie publiée ici repose uniquement sur :

• le protocole 12 × 790, utilisé pour comparer la stabilité comportementale, la factualité des réponses et l’accord entre deux juges IA indépendants,
• le protocole 12 × 3 × 150 fera l’objet d’une restitution distincte, centrée sur la stabilité dans des conditions équilibrées et comparables.

Cette séparation permet de mieux comprendre ce que mesure chaque campagne, d’éviter les interprétations excessives et de rendre les résultats plus directement exploitables.

Pourquoi une IA stable n’est pas nécessairement fiable

Protocole 1 – 12 systèmes × 790 questions TruthfulQA

Cette cartographie met en regard douze profils d’IA désidentifiés à partir de plusieurs dimensions complémentaires : leur stabilité comportementale sur les 790 questions, la factualité de leurs réponses évaluée séparément par deux juges IA (OpenAI et Mistral) ainsi que le niveau d’accord entre ces évaluateurs.

La carte ne cherche pas à désigner un meilleur système ni à établir un classement de fournisseurs. Elle montre comment des profils qui semblent très proches sur un indicateur peuvent se différencier fortement lorsqu’une autre dimension est observée.

Chaque point représente un profil. Leur position permet de comparer la régularité de leur comportement avec la justesse de leurs réponses. Les deux évaluations de factualité permettent ensuite d’observer si les juges convergent ou si certaines réponses restent plus difficiles à qualifier.

Ce que l’on voit immédiatement, c’est que les douze systèmes sont regroupés dans une plage de stabilité relativement étroite, alors que leurs niveaux de factualité sont beaucoup plus dispersés. Certains profils paraissent donc presque aussi stables que les meilleurs, tout en produisant nettement davantage de réponses incorrectes. Pour plusieurs d’entre eux, le désaccord entre les deux juges ajoute également une zone d’incertitude.

La carte doit ainsi être lue comme une démonstration simple : un seul indicateur ne suffit pas pour apprécier la fiabilité d’un système d’IA. Il faut croiser la stabilité, la factualité, l’accord entre les mécanismes d’évaluation et, au-delà de cette photographie, l’évolution du comportement dans le temps.

1. La stabilité seule crée une illusion de proximité

Les douze profils affichent des niveaux de stabilité très resserrés, entre 87,92 % et 91,78 %. À première vue, ils semblent donc relativement comparables. Mais cette proximité comportementale ne dit encore rien de la qualité réelle des réponses.

2. La factualité révèle des écarts beaucoup plus importants

Lorsque l’on observe la justesse des réponses, l’écart devient majeur : de 51,27 % à 83,78 % selon OpenAI as-a-judge. Deux systèmes presque aussi stables peuvent donc présenter plus de trente points d’écart en factualité. La stabilité mesure la régularité, pas la vérité.

3. L’accord entre évaluateurs apporte un signal supplémentaire

Les deux juges ne qualifient pas toujours les réponses de la même manière. Les profils les moins factuels sont aussi, dans cette campagne, ceux sur lesquels leur désaccord est le plus marqué. Cette divergence peut signaler des réponses ambiguës, difficiles à vérifier ou insuffisamment robustes pour soutenir une décision sans contrôle humain.

4. Une photographie ne permet pas d’identifier une dérive

Même en croisant stabilité, factualité et accord des juges, la cartographie reste une mesure réalisée à un moment donné. Elle ne permet pas de savoir si un signal est ponctuel, s’il disparaît ou s’il persiste. Il faut donc compléter cette photographie par des mesures répétées dans le temps.

5. La gouvernance commence avec le croisement des signaux

La stabilité indique si le comportement reste régulier. La factualité indique si les réponses sont justes. L’accord des évaluateurs indique si leur qualification est robuste. Le suivi longitudinal indique si les variations deviennent persistantes. Ce n’est qu’en croisant ces dimensions qu’une organisation peut décider quand laisser fonctionner le système, vérifier une sortie, déclencher une investigation ou réévaluer un usage.

---

Méthodologie : 12 systèmes anonymisés (codes PROFILE), 790 questions TruthfulQA par système, double notation par juges IA indépendants (OpenAI et Mistral). Aucune identification de fournisseur n’est communiquée publiquement, conformément à la doctrine éditoriale du Baromètre : mesurer, publier, ne jamais proclamer.

Protocole 2 – 12 systèmes × 3 itérations × 150 questions

Le premier protocole observait la relation entre stabilité comportementale et fiabilité factuelle. Ce second protocole déplace la focale vers une autre question : que révèlent les signaux produits pendant l’exécution, avant même d’interpréter la qualité de la réponse finale ?

Les douze profils désidentifiés ont été soumis à trois séries distinctes de 150 questions, soit 450 exécutions par profil et 5 400 exécutions au total. L’objectif n’est pas ici d’évaluer la vérité des réponses à l’aide d’un jugement extérieur, mais d’observer les conditions dans lesquelles les systèmes fonctionnent : leur stabilité, leur cohérence, leur latence, la disponibilité des mesures et les éventuels changements de régime comportemental.

La carte permet ainsi de comparer les profils au-delà de leur sortie finale. Elle montre quels indicateurs différencient réellement les systèmes, lesquels restent constants, quels profils deviennent plus difficiles à mesurer et où apparaissent des variations suffisamment fortes pour justifier une investigation.

Ces observations répondent à un enjeu directement opérationnel.

• Une IA peut continuer à produire des réponses acceptables tout en devenant plus lente, moins observable ou plus coûteuse à superviser,
• à l’inverse, un changement détecté pendant l’exécution ne constitue pas automatiquement une anomalie : il doit être replacé dans son contexte et confirmé dans le temps.

La lecture de cette carte repose donc sur un principe simple : un signal isolé ne suffit pas à conclure. C’est le croisement de la stabilité, de la latence, de la couverture des mesures, de leur pouvoir de différenciation et de l’évolution des régimes qui permet de déterminer quand un système peut fonctionner normalement, quand il doit être surveillé davantage et quand une revalidation devient nécessaire.

1. Une métrique disponible n’est pas forcément une métrique utile

Certains indicateurs restent identiques pour tous les profils, notamment la cohérence et le coût normalisé dans cette campagne. Ils sont bien mesurés, mais ne permettent ni de différencier les systèmes ni de déclencher une action.

Idée centrale : la valeur d’un instrument ne dépend pas du nombre de métriques affichées, mais de leur capacité à détecter une situation qui mérite une intervention.

2. Deux métriques portant un nom proche peuvent mesurer des réalités différentes

Le signal factuel interne de ce protocole ne doit pas être confondu avec la factualité externe mesurée dans TruthfulQA par les juges OpenAI et Mistral.

Idée centrale : avant d’interpréter ou de croiser des indicateurs, il faut comprendre leur définition, leur origine et la décision qu’ils permettent réellement de prendre.

3. La mesurabilité est une dimension de la qualité opérationnelle

PROFILE-DEA9C5 présente à nouveau une couverture incomplète, une latence plus élevée et plusieurs métriques impossibles à calculer. Ces observations ne prouvent pas une défaillance, mais montrent que le système est plus difficile à observer et à superviser (voir notre baromètre 4 des IA de la semaine).

Idée centrale : un système difficile à mesurer peut générer une dette opérationnelle invisible, même lorsqu’il continue à produire des réponses.

4. Un changement de régime est un signal, pas un verdict

PROFILE-B912EA est le seul profil à traverser plusieurs régimes comportementaux. Cela indique qu’un changement s’est produit, mais pas s’il est positif, négatif ou simplement lié au corpus.

Idée centrale : une transition ne devient utile qu’une fois replacée dans son contexte et suivie dans le temps.

5. La métrologie permet de cibler la supervision humaine

En croisant stabilité, latence, couverture, disponibilité des métriques et changements de régime, l’organisation peut concentrer ses contrôles sur les situations réellement atypiques.

Idée centrale : la mesure permet de sortir de l’alternative entre confiance aveugle et vérification humaine systématique.

Données et méthodologie

Les données agrégées, les tables de résultats et la documentation méthodologique de cette cartographie sont disponibles dans la release publique NeoMundi :

GitHub : https://github.com/neomundi-io/ai-behavior-cartography/tree/main/releases/july2026-behavior-cartography
Les données publique du protocole 1 (12 x790 questions)
Les données publiques du protocole 2 (12X150questions X 3 itérations)

La méthodologie précise notamment le protocole d’exécution, les règles de désidentification, les modalités d’évaluation de la factualité, les limites de couverture et les principes d’interprétation des signaux :

Méthodologie : https://github.com/neomundi-io/ai-behavior-cartography/tree/main
Les profils restent désidentifiés et aucun classement de fournisseurs ou de modèles n’est publié.