Cartographie de juin 2026, mesure du comportement de 12 LLM majeurs

1. Chez les IA, prix, stabilité et exactitude ne vont pas toujours ensemble

Nous avons mesuré 12 grands systèmes d’IA générative selon un même protocole, afin de comparer leur stabilité observable, leur validité factuelle et leur coût relatif par requête. Chaque point représente un profil observé.

Axe horizontal : stabilité observable · Axe vertical : validité factuelle évaluée · Couleur : coût relatif par requête.

Les résultats montrent qu’un système coûteux n’est pas nécessairement plus stable ou plus exact.

À l’inverse, une IA peu coûteuse peut produire des réponses très stables sans être parmi les plus fiables sur le fond.

Consulter les données et le protocole :
https://github.com/neomundi-io/ai-behavior-cartography

2. Une IA peut être très stable… et pourtant se tromper.

Un système peut répondre de manière très régulière même lorsque question est répétée et pourtant ne pas être exacte.

Dans cette campagne, la stabilité de génération est globalement élevée, autour de 0,90 à 0,92. Pourtant, la validité factuelle varie fortement : d’environ 25 % à 75 % selon le profil observé et le juge utilisé. Une IA peut rester cohérente dans sa manière de répondre sans être fiable sur le fond.

Un candidat parmi les plus stables obtient notamment une validité factuelle moyenne d’environ 61 % sur ce sous-panel ciblé.

Prix nominal ≠ stabilité ≠ validité factuelle.
Un candidat parmi les plus stables observés obtient pourtant une validité factuelle évaluée moyenne d’environ 61 % sur ce sous-panel ciblé, avec un léger désaccord entre les deux juges automatisés.3. Le prix d’une IA ne garantit pas sa fiabilité

Entre le profil le moins cher et le plus cher observés dans cette campagne, le coût moyen par requête varie d’environ ×300. Pourtant, les services les plus coûteux ne sont pas systématiquement les plus stables ni les plus exacts. Un écart de prix massif ne produit pas automatiquement un écart de fiabilité.

Coût moyen observé par requête dans cette campagne, calculé à partir des consommations enregistrées par le pipeline et des tarifs configurés au moment de la mesure. Les tarifs des fournisseurs peuvent évoluer.

4. Certaines erreurs ne font pas de bruit

Dans notre test, certains systèmes ont produit des réponses relativement stables d’une répétition à l’autre, tout en obtenant une validité factuelle plus faible selon les juges. Autrement dit, une réponse peut conserver une forme cohérente, régulière et apparemment maîtrisée sans être pleinement fiable sur le fond.

Réponse stable : G-Score 0,90 à 0,92, alertes rares. Pourtant, environ 47 % des réponses sont jugées non conformes.

« Non conforme » ne signifie pas toujours « factuellement erroné » : certaines réponses peuvent relever d’un refus, d’une opinion ou d’un cas nécessitant une validation humaine. Cohorte TruthfulQA · profils anonymisés · sans nom de fournisseur.

Une erreur ne s’accompagne pas toujours d’un signal visible.
Lorsqu’un système reste stable, l’utilisateur peut avoir moins de raisons de douter de sa réponse. Pourtant, cette stabilité apparente ne suffit pas à garantir sa validité factuelle.
Mesurer la forme ne remplace pas la vérification du fond.

5. Qui juge les juges ?

Même réponse, deux juges : près d’un verdict sur cinq diffère

OpenAI Judge et Mistral Judge ne rendent pas toujours le même verdict.
Sur 9 087 réponses évaluées par les deux juges, leurs conclusions divergent dans 1 688 cas, soit 18,58 % des réponses.

Dans cette campagne, l’écart est nettement orienté : lorsque les deux juges divergent, Mistral Judge valide une réponse rejetée par OpenAI Judge dans 88,33 % des cas.

Le diagnostic dépend aussi du juge utilisé. Un verdict automatisé ne doit donc pas être présenté comme une vérité absolue, mais comme un signal mesuré dans un protocole donné. Évaluer les IA suppose aussi de mesurer l’incertitude des évaluateurs.

La cartographie ne fait que commencer

Cette première édition constitue un point de départ. Chaque mois, NeoMundi publiera de nouvelles mesures et des analyses complémentaires pour mieux comprendre le comportement réel des systèmes d’IA : ce qui reste stable, ce qui varie, ce qui coûte cher, ce qui mérite une vérification renforcée. Les prochaines extractions pourront notamment explorer :

– la densité informationnelle et le gaspillage généré par les réponses ;
– les variations observées lorsqu’une même question est répétée à grande échelle ;
– les désaccords entre évaluateurs automatisés, avec l’intégration progressive de juges complémentaires ;
– l’apparition de profils comportementaux selon les usages, les fournisseurs et les régimes observés.

Ces analyses seront produites par l’équipe NeoMundi et enrichies progressivement par des contributeurs indépendants.

Explorer les données :

Les données, le protocole et les prochaines publications sont accessibles publiquement :
Open data et protocole :
https://github.com/neomundi-io/ai-behavior-cartography
Tester l’instrument de mesure :
https://controltower.neomundi.io

Contribuer

NeoMundi s’inscrit dans une démarche d’open science. Chercheurs, ingénieurs, organisations et contributeurs indépendants peuvent proposer de nouvelles questions, reproduire les mesures ou suggérer des axes d’analyse.

Nous ne proclamons pas. Nous mesurons.