L’analyse de James Moore des Baromètres IA #6 et #7 montre comment une évolution globale minime peut masquer des changements concentrés sur certains profils, certaines tâches et certains types d’alertes.
Les Baromètres IA de NeoMundi ont été conçus pour rendre observable le comportement des systèmes d’IA dans le temps. Mais une fois la mesure produite, une autre question devient essentielle : Que peut masquer une moyenne apparemment stable ?
Dans sa quatrième contribution à NeoMundi Research, James Moore, contributeur spécialisé sur la gouvernance humaine au moment de l’exécution, analyse les résultats publics agrégés des Baromètres IA #6 et #7. Son travail part d’un constat simple : regarder uniquement la moyenne générale ou le régime dominant d’une campagne peut conduire à manquer une partie importante de ce qui se passe réellement à l’intérieur du système observé.
Entre les Baromètres des IA #6 et #7, la stabilité moyenne évolue très peu : elle passe de 0,922864 à 0,920596, soit une variation de seulement 0,002268. Pris isolément, ce mouvement pourrait suggérer un panel presque inchangé. Mais lorsque James descend sous la moyenne, la structure apparaît autrement.
Moins d’exceptions, mais des exceptions différentes
Le nombre total d’observations complètes non normales diminue entre les deux campagnes, passant de 131 à 106. On pourrait conclure rapidement que la situation s’améliore. Pourtant leur composition change fortement.
- Les observations comportant uniquement une variation sémantique passent de 113 à 62.
- Les alertes factuelles seules passent de 16 à 31.
- Les alertes combinant dimensions factuelle et sémantique passent de 2 à 13.
Au total, les observations impliquant une dimension factuelle passent ainsi de 18 à 44.
Le nombre d’exceptions diminue, mais celles qui subsistent changent de nature. C’est l’un des enseignements centraux du rapport : le volume d’un signal ne suffit pas à décrire sa signification. Sa composition compte également.
Une moyenne peut masquer un événement localisé
La faible évolution de la stabilité globale masque également une concentration importante.
Le profil PROFILE-212079 passe d’une stabilité moyenne de 0,923077 à 0,895175. Son taux de FLAG passe simultanément de zéro à 9 %, tandis que les autres profils restent proches de leur plage de stabilité précédente.
Autrement dit, la légère baisse de moyenne observée au niveau de la campagne n’est pas nécessairement le signe d’une dégradation générale. Elle est largement concentrée sur un profil particulier.
La distinction est fondamentale. Une variation diffuse dans l’ensemble d’un panel et une rupture localisée produisant la même moyenne ne racontent pas la même histoire. La distribution compte autant que la moyenne.
Certaines tâches concentrent aussi certains signaux
James observe également une concentration au niveau des questions.
La Question 4 représente environ 95 % des observations positives en variation sémantique dans le Baromètre #6, puis encore environ 80 % dans le #7. Parallèlement, dans le Baromètre #7, la Question 2 devient celle présentant le taux de FLAG le plus élevé et la stabilité moyenne la plus faible.
Parallèlement, dans le Baromètre #7, la Question 2 devient celle présentant le taux de FLAG le plus élevé et la stabilité moyenne la plus faible.
Cela suggère qu’un même système peut produire des types de signaux différents selon la nature de la tâche à laquelle il est confronté.
Il ne suffit donc pas de savoir qu’une anomalie existe. Il faut aussi pouvoir répondre à plusieurs questions :
- Où se concentre-t-elle ?
- Revient-elle dans le temps ?
- Sur quel type de tâche ?
- Quels signaux ont conduit à sa classification ?
De la détection à une preuve structurée
C’est ici que la contribution de James dépasse l’analyse descriptive.
Il identifie six dimensions à renforcer : concentration, récurrence, matérialité, contexte de tâche, lignée des alertes et passage de relais vers la gouvernance. Il propose notamment de distinguer plusieurs états longitudinaux : isolé, récurrent, persistant, en expansion ou résolu.
Ces états ne seraient pas des verdicts. Ils décriraient simplement l’histoire observable d’un signal dans le temps. Cette distinction est essentielle.
Une anomalie observée une seule fois n’a pas la même portée qu’un phénomène qui réapparaît semaine après semaine. Une variation concentrée sur une seule tâche n’est pas équivalente à un mouvement qui se diffuse progressivement sur plusieurs profils.
Mesurer sans décider
Cette approche respecte une frontière centrale de NeoMundi : la mesure produit la preuve ; elle ne porte pas l’autorité de décision.
James formule cette séparation comme une chaîne :
Signal → interprétation → politique → action responsable.
NeoMundi peut rendre les changements observables, documenter leur concentration, leur récurrence et leur lignée. Mais c’est à l’organisation qui exploite le système de déterminer leur matérialité, leur impact opérationnel et la décision éventuelle à prendre, dans le cadre de la gouvernance des systèmes d’IA.
C’est précisément là que la mesure longitudinale prend tout son sens. Une moyenne peut dire qu’un système paraît globalement stable. La distribution montre où il faut commencer à regarder.
La contribution complète de James Moore est proposée dans le cadre de NeoMundi Research / Expert Lens et soumise à revue méthodologique.
Télécharger l’analyse complète de James Moore
James Moore
→ à propos de James
NeoMundi Recherche Contributeur · Gouvernance humaine / en temps réel