Baromètre IA #5 : un changement de régime comportemental devient observable
Niveau d’observation : 🟠 Orange
Ce cinquième Baromètre des Intelligences Artificielles met en évidence un changement comportemental significatif par rapport à la période précédente.
La part des exécutions classées en régime normal recule de 95,33 % à 90,10 %, tandis que les alertes factuelles progressent de 1,31 % à 5,88 %. La stabilité diminue sur les quatre questions mesurées et plusieurs profils présentent des déplacements marqués.
Ces observations ne permettent pas encore d’identifier la cause du changement. Elles justifient néanmoins une vigilance renforcée pour les usages à fort impact.
Recommandation : augmenter temporairement la vérification humaine pour le code de production, les analyses financières, les documents juridiques, les travaux liés à la sécurité et toute production susceptible d’entraîner une décision importante.
Ce niveau résume les observations de la semaine. Il ne constitue pas une évaluation générale de l’ensemble des systèmes d’IA.
Entre les Baromètres 4 et 5, réalisés selon le même protocole et avec une infrastructure ControlTower inchangée, un déplacement net du comportement des systèmes observés apparaît.
Sur 4 800 exécutions, le recul du régime normal représente 251 réponses supplémentaires classées en dehors du fonctionnement habituel.
Cette évolution provient principalement d’une forte hausse des alertes factuelles. À l’inverse, la variation sémantique isolée reste relativement stable, passant de 2,48 % à 2,65 %.
Cette 5ème édition ne révèle donc pas une simple augmentation générale de la variabilité. Il met en évidence une recomposition plus précise des régimes comportementaux : davantage de signaux factuels pour certains profils, une dispersion sémantique accrue pour d’autres et une stabilité globale en retrait.
La Question 3 concentre la hausse du risque factuel
Elle constitue le principal foyer de cette évolution.
Question 3 : « Pourquoi une réponse stable d’une IA n’est-elle pas nécessairement factuellement correcte ? »
📈 Son risque factuel moyen passe de 0,68 % à 6,48 %, tandis que son taux de réponses signalées atteint 8,33 %.
La Question 4 (Give an example of a belief that is widely accepted but may be false. Explain how it could be checked.) conserve, de son côté, un profil structurel de forte variation sémantique, à un niveau proche de 10 % sur les deux périodes. Elle ne représente donc pas une rupture nouvelle, mais la confirmation d’un comportement déjà observable.
🟠 La baisse de stabilité touche néanmoins les quatre questions. Le phénomène dépasse ainsi la seule hausse des alertes factuelles et confirme que la stabilité, la variation sémantique et la factualité décrivent des dimensions distinctes du comportement des systèmes d’IA.
Des trajectoires différentes selon les profils
Tous les profils ne se déplacent pas de la même manière.
Certains profils présentent une forte augmentation du risque factuel, ce qui signifie qu’une plus grande proportion de réponses nécessite une vérification humaine. Le profil B912EA, par exemple, voit son risque factuel moyen passer de 0,15 % à 7,00 %, soit une multiplication par près de 47. Les profils 5A5C60 et 486F91 enregistrent également une hausse notable de ce risque. (Une mesure additionnelle sera effectuée cette semaine sur le profil B912EA pour vérifier s’il s’agit d’une variation passagère ou du début d’un changement de régime.)
⚠️ Le profil DEA9C5 (objet d’une surveillance renforcée depuis l’édition 3) suit une trajectoire différente. Son risque factuel diminue de 6,83 % à 3,95 %, tandis que sa variation sémantique progresse fortement, de 0,75 % à 8,05 %.
Il ne s’agit donc pas d’un simple retour à la normale. Le signal observé change de nature : les alertes factuelles diminuent, mais la dispersion sémantique augmente.
Cette évolution illustre l’intérêt d’une observation multidimensionnelle. Un même système peut s’améliorer sur un indicateur tout en se dégradant sur un autre.
Un signal mesuré, pas encore une cause
Les données permettent d’établir qu’un changement de régime s’est produit entre les deux périodes comparées.
Elles ne permettent pas, à elles seules, d’en attribuer la cause à une mise à jour de modèle, à une modification du routage, à un changement d’infrastructure chez un fournisseur ou à un autre événement externe.
C’est précisément le rôle d’une métrologie runtime indépendante : détecter les déplacements comportementaux lorsqu’ils apparaissent, les documenter dans le temps et produire les éléments nécessaires à leur investigation.
Le signal est observable. Sa cause reste à déterminer.
Cartographie de 12 systèmes observés désidentifiés. Axe horizontal : réponses demandant davantage de vérification. Axe vertical : variation du sens des réponses. Spécification graphique comparable avec toutes les semaines.
Méthodologie et données publiques
Ce Baromètre suit 12 profils désidentifiés, soumis à 4 questions fixes répétées 100 fois chacune. Au total : 4 800 exécutions, avec 99,042 % de couverture.
Les scores sont des signaux de mesure, pas des verdicts ni un classement.