Si un système d’intelligence artificielle change de comportement sans changer de nom, comment le remarquer
Une réponse isolée ne suffit pas. Le même système peut produire des réponses différentes à une question identique. Son comportement peut aussi évoluer au fil des jours, notamment lorsque son modèle, ses paramètres ou son infrastructure changent.
La Météo des IA™ rend une partie de ces variations visible. Chaque jour, elle observe des systèmes selon un protocole répété, puis publie une condition comportementale accompagnée de ses données de mesure.
Cette condition n’est ni une note générale, ni un classement des modèles. C’est un signal situé dans le temps, produit dans des conditions définies.
Le principe : conserver un point de comparaison
Pour savoir si quelque chose change, il faut pouvoir le comparer à une référence.
La Météo des IA utilise des questions sentinelles constantes, soumises régulièrement aux systèmes observés. Les exécutions répétées permettent d’étudier la variabilité des réponses du jour. Leur succession permet de comparer ce comportement à l’historique récent du même système.
La condition affichée par la Météo repose sur ce canal longitudinal : des stimuli comparables, observés dans le temps. Une question nouvelle peut être proposée dans « Today’s Challenge » pour explorer un autre comportement. Elle constitue une expérience distincte et ne détermine pas la condition Météo.
Cette séparation est essentielle. Une question inédite peut susciter une réponse intéressante, surprenante ou problématique ; elle ne permet pas, à elle seule, d’affirmer que le comportement habituel d’un système a changé.
Comment une condition quotidienne est-elle produite ?
Le protocole suit quatre étapes.
1. Observer. Les systèmes du panel reçoivent les questions sentinelles selon un protocole documenté. Les réponses sont recueillies avec leur contexte et leur date d’exécution.
2. Comparer. Les observations du jour sont rapprochées de l’historique du même système. La mesure examine notamment la stabilité, l’ampleur des variations et leur évolution dans le temps.
3. Vérifier la solidité du signal. Un écart ponctuel, une variation persistante et une journée où des observations manquent ne doivent pas être interprétés de la même manière. La persistance et la couverture du protocole comptent donc dans la condition publiée.
4. Publier. Les résultats sont rendus accessibles dans des données datées, afin que la condition affichée puisse être reliée aux observations et à la version de la méthode qui l’ont produite.
Une couleur aide à repérer rapidement où porter son attention. Elle ne remplace pas l’examen des données ni le jugement humain.
Que mesure-t-on exactement ?
La Météo observe le comportement d’un système dans un protocole donné. Elle cherche à rendre visibles sa régularité, ses variations et d’éventuels changements de régime au fil des observations.
La stabilité ne signifie pas que les réponses sont vraies : un système peut répéter régulièrement une erreur. À l’inverse, une réponse différente n’est pas nécessairement mauvaise. La condition Météo ne qualifie donc ni la vérité de chaque réponse, ni la qualité générale d’un modèle.
Cette distinction guide le travail métrologique de NeoMundi : définir ce qui est observé, préciser comment chaque métrique est produite, indiquer quand elle est exploitable et documenter ses limites. Un chiffre n’acquiert de valeur que si l’on peut comprendre ce qu’il mesure et dans quelles conditions on peut lui faire confiance.
Un instrument qui se construit publiquement
Depuis le 1er juin 2026, NeoMundi expérimente plusieurs façons d’observer le comportement des IA, notamment à travers des baromètres, des cartographies et la Météo des IA. Ces dispositifs ont permis d’accumuler plus de 310 000 observations à l’échelle du programme NeoMundi. Ce total décrit l’ensemble du programme ; il ne correspond pas au seul protocole quotidien de la Météo.
L’accumulation de données ne suffit pas à établir la qualité d’un instrument. Les protocoles doivent aussi être audités, les métriques définies, les résultats confrontés à leurs limites et les méthodes améliorées lorsque l’expérience révèle un problème.
C’est pourquoi la Météo est présentée comme un dispositif expérimental et examinable. Ses résultats peuvent être étudiés, critiqués et mis à l’épreuve. Le code et les ressources publiques de la Météo sont disponibles sur GitHub.
Pourquoi cette expérience dépasse-t-elle la Météo ?
La Météo est la démonstration publique d’un besoin plus large : entre les systèmes d’IA et les organisations qui les utilisent, il manque souvent une couche de mesure indépendante du comportement réel.
NeoMundi développe cette couche. Son rôle est de produire un signal traçable pendant l’exécution et dans le temps. Selon le contexte, ce signal peut ensuite alimenter une analyse, un audit, une application ou des règles de gouvernance définies par l’organisation.
La valeur d’une telle mesure dépend de son usage : comprendre une variation, documenter un incident, comparer deux périodes ou décider quand une supervision humaine est nécessaire. NeoMundi apporte le signal ; les utilisateurs l’interprètent et décident de ce qu’ils en font.
Ce que la Météo ne permet pas de conclure
Trente exécutions quotidiennes, ou toute autre série limitée, ne résument pas le comportement global d’une IA. Une observation sur des questions sentinelles ne garantit pas le comportement du système face à toutes les questions, dans tous les contextes ou le lendemain.
La Météo ne désigne pas le « meilleur » modèle. Elle ne certifie aucun fournisseur, ne prédit pas les réponses futures et ne remplace ni un audit adapté à un usage précis, ni une évaluation de conformité.
Elle pose une question plus ciblée et vérifiable : dans ce protocole, le comportement observé aujourd’hui reste-t-il comparable à celui des jours précédents ?
C’est un point de départ pour les journalistes, chercheurs, data scientists, auditeurs et organisations qui souhaitent examiner les données, tester la méthode ou proposer une meilleure manière de mesurer.
Mesurer avant d’interpréter. Observer avant de gouverner.