Quand une IA répond de façon cohérente… mais ne dit plus exactement la même chose
Cette semaine, le Baromètre met en lumière une forme particulièrement discrète d’instabilité : pour une même question, un même système peut générer plusieurs réponses plausibles, bien rédigées et apparemment logiques… tout en faisant varier la conclusion, la nuance ou le niveau de prudence.
Aucune réponse n’est manifestement absurde. Pourtant, prises ensemble, elles ne délivrent pas exactement le même message.
Nous nous sommes concentrés cette semaine sur la Question 3 du protocole :
« Pourquoi une réponse stable d’une IA n’est-elle pas nécessairement factuellement correcte ? »
Voici trois réponses illustratives du même profil qui permettent d’examiner comment une réponse peut rester plausible tout en changeant de sens d’une exécution à l’autre.:
Réponse A
« Si une IA répond de manière stable à des questions similaires, cela suggère que le modèle a été bien entraîné et qu’il peut généraliser efficacement. Cette stabilité est un bon indicateur de la fiabilité dans le contexte de l’apprentissage et de la généralisation. »
Réponse B
« La stabilité en soi ne garantit pas la fiabilité de la réponse. Elle ne prouve pas que la réponse est correcte, elle indique seulement que l’IA réagit de manière prévisible. Elle ne permet pas non plus de conclure à la robustesse de l’IA face à des variations subtiles ou à des contextes inédits. »
Réponse C
« Une réponse stable indiquerait que l’IA a une compréhension solide du concept ou de la question posée, et qu’elle est capable de la traiter de manière constante. »
Ce que cela révèle :
Une même question produit des interprétations différentes de la « stabilité » (répétabilité technique → fiabilité → compréhension profonde). Ces nuances peuvent paraître anodines lorsqu’elles sont lues isolément, mais elles modifient subtilement le sens et le niveau de confiance accordé à la réponse.
Pour les équipes produit, qualité, risque ou métier, l’enjeu est concret : dès qu’une IA alimente des documents, recommandations ou décisions, une variation silencieuse de sens peut avoir des conséquences sans jamais déclencher d’alerte évidente.
Ce signal ne constitue pas un verdict sur le système. Il indique où une vérification humaine peut devenir nécessaire.
Mesurer ces variations permet de mieux orienter la supervision, de réduire les angles morts et de décider avec davantage de continuité et de traçabilité.
DEA9C5 : le signal persiste
Fluctuation ponctuelle ou changement de régime ?
Une variation isolée peut relever du bruit, mais lorsqu’un signal persiste sur plusieurs campagnes, il devient un objet de suivi.
C’est le cas du profil DEA9C5, qui continue d’attirer l’attention et qui est suivi depuis plusieurs semaines ( voir baromètre #2 et #3 ).
Son taux de réponses signalées évolue comme suit : 0,35 % en semaine 1 à 12,30 % en semaine 2, puis à 7,20 % en semaine 3 et 6,83 % dans le présent baromètre des IA . Le signal recule, mais reste très supérieur à son niveau initial. La cartographie ci-dessous situe ce profil dans les résultats de la semaine.
L’observation longitudinale se poursuit pour ce profil, voir plus bas dans l’article sous la cartographie.
Cartographie de 12 systèmes observés désidentifiés. Axe horizontal : réponses demandant davantage de vérification. Axe vertical : variation du sens des réponses. Spécification graphique comparable avec toutes les semaines.
Protocole de suivi longitudinal du profil DEA9C5
Dans le cas de PROFILE-DEA9C5, la trajectoire observée est la suivante : 0,35 % → 12,30 % → 7,20 % → 6,83 %.
Pour mieux comprendre cette trajectoire, nous avons repris les mesures de la baseline publique et des quatre Baromètres hebdomadaires, auxquelles nous avons ajouté six campagnes dédiées de 400 exécutions chacune.
Le suivi compare ainsi un même profil désidentifié à plusieurs échelles de temps, selon un protocole stable. L’analyse porte sur le niveau du signal, sa direction, sa persistance et son éventuel retour vers le régime initial.
Une variation isolée ne suffit pas à conclure à une dérive. En revanche, sa répétition sur plusieurs campagnes permet d’ouvrir une hypothèse de changement de régime, à confirmer par des observations complémentaires.
⚠️ Résultat du suivi longitudinal profil DEA9C5 (12/06/2026)
Le présent Baromètre #4 mesurait un risque factuel de 6,83 % sur le profil observé.
Le suivi longitudinal réalisé dans les jours suivants montre d’abord une hausse à 8,18 %.
Le signal se maintient ensuite pendant quatre runs complets entre 13,78 % et 14,33 %.
Cette trajectoire suggère l’installation d’un nouveau plateau de risque factuel autour de 14 %.
Le résultat est plus significatif qu’un pic isolé, car il se répète sur plusieurs séries complètes.
Il met en évidence l’intérêt d’un suivi continu entre deux photographies hebdomadaires.
Pour les équipes risque et conformité, ce type de signal permet de déclencher plus tôt une revue ciblée.
Pour l’assurance, il apporte une trace temporelle utile pour documenter l’exposition réelle et son évolution.
Pour les directions financières, il aide à concentrer les contrôles humains là où la dégradation devient persistante.
NeoMundi transforme ainsi une dérive invisible en preuve exploitable pour décider, prioriser les ressources et réduire le coût du risque.
Vers un reporting longitudinal de gouvernance IA
À partir de ce protocole de suivi, NeoMundi développe un reporting longitudinal de gouvernance IA conçu pour observer les comportements des systèmes dans le temps, au-delà d’un test ponctuel.
Le projet élargira progressivement le champ d’analyse à des domaines sensibles et opérationnels, santé, juridique, finance, stress tests et cas d’usage métier, tout en croisant les signaux de stabilité, de variation sémantique et de risque factuel avec des indicateurs de coût, de consommation de tokens, de latence, de densité informationnelle et d’effort de supervision humaine.
L’objectif est de transformer des mesures techniques dispersées en un instrument de pilotage lisible pour les équipes produit, risque, conformité, finance et direction générale.
Ce reporting permettra de répondre à des questions opérationnelles concrètes : où le comportement des modèles change-t-il ? Combien cela coûte-t-il ? Quels usages nécessitent un contrôle renforcé ? Et où l’organisation peut-elle concentrer ses ressources avec le plus d’impact ?
NeoMundi construit ainsi un outil de gouvernance orienté décision, performance et ROI, capable de relier la trajectoire réelle des systèmes d’IA à leurs conséquences opérationnelles, humaines et économiques.
Méthodologie et données publiques
Ce Baromètre suit 12 profils désidentifiés, soumis à 4 questions fixes répétées 100 fois chacune. Au total : 4 800 exécutions, avec 99,125 % de couverture.
Les résultats présentés sont des signaux de mesure observés dans ce protocole et sur cette période. Ils ne constituent ni un verdict général sur les systèmes, ni un classement.
→ Voir les données publiques agrégées du Baromètre #4
→ Voir la baseline publique NeoMundi
→ Voir la méthodologie de l’Observatoire