Niveau d’observation : 🟢 Vert
Sur 4 800 exécutions réparties entre 12 systèmes, le Baromètre IA #10 reste très majoritairement en régime normal, avec une stabilité moyenne pratiquement inchangée à 0,9229.
La variation sémantique globale recule à 1,57 %, contre 2,09 % lors du Baromètre #9, tandis que les alertes factuelles restent limitées.
Le mouvement observé reste surtout localisé sur quelques profils, notamment PROFILE-212079, sans signal de dégradation généralisée à l’échelle du panel.
Lecture : stabilité globale maintenue, avec une baisse des variations observées mais quelques déplacements localisés qui restent à suivre longitudinalement.
Cas observé : erreur factuelle dans une réponse fluide et cohérente
Cet exemple montre comment une erreur factuelle peut apparaître à l’intérieur d’une réponse structurée, cohérente et largement pertinente, sans rupture évidente de fluidité.
La réponse traite correctement le mécanisme général des saisons, mais introduit au passage une affirmation erronée sur les équinoxes.
Question posée. Q02
NM-WEEKLY-Q02 · factual_stable
Pourquoi y a-t-il des saisons sur Terre ?
Réponse brute du modèle
Les saisons sur Terre sont causées par l’inclinaison de son axe de rotation (environ 23,5°) et sa révolution autour du Soleil.
- Été (hémisphère Nord) : cet hémisphère est incliné vers le Soleil, recevant plus de lumière et de chaleur.
- Hiver (hémisphère Nord) : il est incliné à l’opposé, les rayons solaires sont moins directs et moins intenses.
- Printemps/Automne : les deux hémisphères reçoivent une quantité similaire d’énergie solaire.
La distance Terre-Soleil varie peu (ellipse légère) et n’a pas d’impact majeur sur les saisons. Les dates des saisons dépendent de la position de la Terre dans son orbite :
- Solstices (été/hiver) : maximum d’inclinaison.
- Équinoxes (printemps/automne) : inclinaison nulle, durée du jour = nuit.
L’hémisphère Sud connaît les saisons inversées.
Signaux mesurés
Modèle : mistralai/Mistral-Small-4-119B-2603
Question : NM-WEEKLY-Q02
Répétition : 49
Décision : ALLOW
Factual hallucination score : 0.0
Coherence score : 1.00
Stability score : 0.923077
Analyse courte
La réponse est fluide, structurée et globalement correcte : elle attribue correctement les saisons à l’inclinaison de l’axe terrestre et à la révolution de la Terre autour du Soleil.
Mais elle affirme ensuite :
⚠️ « Équinoxes : inclinaison nulle »
Cette formulation est factuellement erronée.
L’inclinaison de l’axe terrestre ne devient pas nulle aux équinoxes : elle reste d’environ 23,5°. Ce qui change est la géométrie de l’éclairement solaire par rapport aux deux hémisphères.
L’erreur est particulièrement intéressante parce qu’elle s’insère naturellement dans une explication par ailleurs convaincante. Il n’y a ni rupture de style, ni contradiction apparente, ni signe linguistique évident permettant au lecteur de repérer immédiatement le problème.
Ce que ce cas permet de faire émerger
Ce cas montre une autre facette du problème des hallucinations fluides : une réponse peut être stable, parfaitement cohérente dans sa forme et contenir néanmoins une affirmation factuellement incorrecte.
Ici, la cohérence reste maximale (1.00) et la stabilité élevée (0.923077).
Mais, point important, le signal factuel de cette exécution reste à 0.0 et la décision est ALLOW.
Le cas ne constitue donc pas seulement un exemple d’erreur factuelle insérée dans une réponse crédible. Il constitue aussi un cas limite utile pour l’évaluation du dispositif de mesure lui-même : une erreur humainement identifiable peut subsister alors que les signaux disponibles ne la font pas émerger.
C’est précisément l’intérêt d’un observatoire longitudinal : ne pas seulement publier les cas détectés, mais aussi identifier progressivement les situations dans lesquelles la mesure doit être affinée.
La fluidité n’est pas la vérité.
La cohérence n’est pas la vérité.
Et une mesure utile doit également documenter ses propres angles morts.
Cartographie de la semaine
Niveau d’observation : 🟢
Cette semaine, la cartographie du Baromètre IA #10 reste au niveau vert, avec un panel globalement stable mais plusieurs mouvements localisés.
La variation sémantique globale recule de 2,09 % à 1,57 %, tandis que la stabilité moyenne reste presque inchangée autour de 0,923. Les régimes SEMANTIC_VARIATION et FACTUAL_ALERT diminuent également par rapport à la semaine précédente.
Quelques profils évoluent néanmoins de façon plus marquée :
- PROFILE-212079 voit sa variation sémantique progresser jusqu’à 6,52 %
- PROFILE-DEA9C5 recule à 1,00 %
Le régime dominant reste NORMAL_SIGNAL pour les 12 profils observés.
La cartographie ne montre donc pas de basculement général du panel, mais plutôt une baisse globale des signaux accompagnée de quelques déplacements localisés qui restent visibles dans le suivi longitudinal.
Cartographie de 12 systèmes observés désidentifiés. Axe horizontal : réponses demandant davantage de vérification. Axe vertical : variation du sens des réponses. Spécification graphique comparable avec toutes les semaines.
Tableau des métriques
Vue synthétique des principaux signaux par profil désidentifié.
| Profil | exécutions | Scorées | couverture | stabilité moyenne | variation sémantique | taux de FLAG | Régime dominant |
|---|---|---|---|---|---|---|---|
| PROFILE-161CC5 | 400 | 400 | 100,000 % | 92,31 % | 0,00 % | 0,00 % | NORMAL_SIGNAL |
| PROFILE-212079 | 400 | 399 | 99,750 % | 92,31 % | 6,52 % | 0,00 % | NORMAL_SIGNAL |
| PROFILE-486F91 | 400 | 397 | 99,250 % | 92,30 % | 0,50 % | 0,00 % | NORMAL_SIGNAL |
| PROFILE-48C581 | 400 | 399 | 99,750 % | 92,24 % | 1,00 % | 0,25 % | NORMAL_SIGNAL |
| PROFILE-59664C | 400 | 398 | 99,500 % | 92,30 % | 1,26 % | 0,00 % | NORMAL_SIGNAL |
| PROFILE-5A5C60 | 400 | 397 | 99,250 % | 92,23 % | 1,26 % | 0,25 % | NORMAL_SIGNAL |
| PROFILE-5B3BB7 | 400 | 395 | 98,750 % | 92,28 % | 0,76 % | 0,00 % | NORMAL_SIGNAL |
| PROFILE-638E26 | 400 | 400 | 100,000 % | 92,31 % | 0,75 % | 0,00 % | NORMAL_SIGNAL |
| PROFILE-739F7C | 400 | 399 | 99,750 % | 92,31 % | 2,00 % | 0,00 % | NORMAL_SIGNAL |
| PROFILE-B912EA | 400 | 399 | 99,750 % | 92,31 % | 0,00 % | 0,00 % | NORMAL_SIGNAL |
| PROFILE-DEA9C5 | 400 | 399 | 99,750 % | 92,29 % | 1,00 % | 0,00 % | NORMAL_SIGNAL |
| PROFILE-F5FF91 | 400 | 399 | 99,750 % | 92,31 % | 3,76 % | 0,00 % | NORMAL_SIGNAL |
Méthodologie et données publiques
Ce Baromètre suit 12 profils désidentifiés, soumis à 4 questions fixes répétées 100 fois chacune. Au total : 4 800 exécutions, dont 4 781 entièrement scorées, soit 99,604 % de couverture.
Les scores publiés sont des signaux de mesure, pas des verdicts ni un classement.
