Rapport de l’audit indépendant réalisé par Pape Malick DIOP, Data Scientist et Chercheur en Machine Learning, le 10 juin 2026.
Chez NeoMundi, nous croyons que la gouvernance des systèmes génératifs ne peut reposer que sur un seul signal. C’est pourquoi nous avons sollicité un audit exploratoire externe indépendant sur nos signaux runtime : G-score, ∆G, FLAG, régime et exactitude benchmark.
Pape Malick DIOP a analysé les exports fournis par l’outil ControlTower dans une perspective d’observability et de gouvernance (OBS/GOV). Voici ce que nous révèle son étude et vous trouverez le rapport en fichier PDF en bas de cet article.
Ce que révèle l’audit exploratoire des signaux temps réel NeoMundi
Analyse de G, ∆G, FLAG, régime et exactitude benchmark
Le rapport confirme plusieurs enseignements importants :
- Le G-score mesure avant tout une stabilité en temps réel, pas la vérité factuelle.
La corrélation entre le G-score et l’exactitude benchmark est très faible (environ 0,10). Un score élevé ne garantit pas une réponse correcte. - Le phénomène de « stabilité trompeuse » est réel et doit être pris au sérieux.
Certains providers affichent un G-score très élevé (jusqu’à 0,9231 en moyenne) avec un taux de saturation proche de 100 %, tout en ayant une exactitude benchmark nettement inférieure à d’autres providers ayant des G-scores similaires. - FLAG, DROP et ∆G sont des signaux d’alerte utiles, mais pas des preuves automatiques d’erreur. Ils permettent d’identifier des zones de tension ou de rupture locale.
- Le régime STABLE est très dominant, ce qui limite son pouvoir discriminant lorsqu’il est utilisé seul.
Des providers aux G-scores moyens très proches peuvent présenter des niveaux d’exactitude très différents. Un comportement stable ne signifie pas nécessairement une réponse correcte.
Proportion de cas où G ≥ 0,90 et où la réponse est incorrecte selon le benchmark. Le provider P-003 illustre particulièrement bien ce risque.
Comment interpréter les signaux NeoMundi en pratique ?
Un signal isolé ne suffit jamais à conclure.
Comme sur le tableau de bord d’une voiture, il faut croiser plusieurs voyants pour comprendre ce qui se passe réellement.
Grille de référence – Lecture signal par signal
Pour chaque signal observé : son interprétation, son risque principal et l’action recommandée. Aucun signal ne se lit seul.
| Signal observé | Interprétation | Risque principal | Action recommandée |
|---|---|---|---|
| G-score élevé seul | Génération stable, régulière ou cohérente du point de vue runtime. | Confusion possible entre stabilité et vérité factuelle. | Ne pas utiliser le G-score seul pour valider une réponse. Croiser avec l’exactitude ou une couche factuelle. |
| G-score élevé + exactitude faible | Stabilité trompeuse : le modèle produit une réponse stable mais incorrecte. | Forte confiance apparente malgré une erreur factuelle. | Déclencher une validation factuelle externe ou une revue renforcée. |
| G-score faible ou instable | Signal de fragilité runtime, d’irrégularité ou de comportement moins stable. | Sortie potentiellement sensible au contexte, au modèle ou au prompt. | Examiner la question, le provider et les variations associées. |
| ∆G élevé ou profil DROP | Variation forte du signal, rupture locale ou zone de tension. | Transition runtime, instabilité ponctuelle ou dégradation locale. | Classer comme zone d’attention prioritaire et analyser avec FLAG, régime et exactitude. |
| FLAG | Alerte runtime indiquant qu’une sortie mérite une vérification. | Surinterprétation possible comme erreur automatique. | Utiliser comme signal d’escalade ou de vérification renforcée, pas comme rejet systématique. |
| FLAG + DROP | Zone de risque runtime plus forte, combinant alerte et rupture du signal. | Risque accru d’instabilité ou de comportement problématique. | Prioriser l’analyse, envisager une revue humaine ou un second passage de validation. |
| Régime STABLE seul | Contexte synthétique indiquant un état globalement stable. | Pouvoir discriminant limité si STABLE est dominant. | Ne jamais utiliser le régime seul ; le croiser avec G-score, ∆G, FLAG et exactitude. |
| ALLOW + exactitude faible | Cas non détecté par le signal runtime. | Faux négatif potentiel dans la logique de gouvernance. | Renforcer la couche factuelle ou benchmark, surtout hors ligne. |
| Forte saturation de G-score | Concentration du score autour d’un plafond observé. | Ambiguïté entre stabilité réelle et effet de saturation. | Tester la robustesse sur plusieurs providers, benchmarks, prompts et répétitions. |
Grammaire de règles – Règles d’interprétation actionnables (R1–R10)
La même logique, exprimée en règles nommées et citables. Pour opérationnaliser une lecture OBS/GOV et, plus tard, des seuils configurables.
| Règle | Condition | Interprétation | Action recommandée |
|---|---|---|---|
| R1 | G élevé + exactitude faible | Stabilité trompeuse. | Ajouter une validation factuelle externe. |
| R2 | G élevé seul | Stabilité runtime, pas preuve de vérité. | Ne jamais utiliser G seul pour valider. |
| R3 | FLAG + DROP | Zone de risque runtime prioritaire. | Escalade ou revue humaine. |
| R4 | G faible + ∆G élevé | Rupture ou tension potentielle. | Investiguer comme zone de transition. |
| R5 | FLAG + réponse correcte | Alerte sans erreur factuelle directe. | Lire comme attention, pas rejet. |
| R6 | Régime STABLE seul | Signal synthétique insuffisant. | Croiser avec G, ∆G, FLAG et exactitude. |
| R7 | G stable + faible FLAG + faible exactitude | Profil stable mais factuellement faible. | Ajouter une couche factuelle. |
| R8 | Forte saturation de G | Stabilité forte ou effet de plafond. | Analyser variabilité, ∆G, FLAG/DROP. |
| R9 | Forte variabilité de G entre providers | Sensibilité au modèle ou au contexte. | Utiliser comme cas de test prioritaire. |
| R10 | Signal unique utilisé seul | Base décisionnelle insuffisante. | Utiliser une lecture multi-signal. |
Les recommandations principales de l’audit
Pape Malick DIOP propose une grammaire d’interprétation multi-signaux claire :
- Ne jamais utiliser le G-score seul pour valider une réponse.
- Toujours croiser au minimum : G-score + ∆G + FLAG + régime + exactitude benchmark.
- Utiliser FLAG + DROP comme signaux d’escalade ou de vérification renforcée.
- Considérer le régime STABLE comme un contexte global, pas comme un déclencheur isolé.
L’auteur conclut que les signaux NeoMundi sont lisibles et exploitables pour une première intégration OBS/GOV-ready, à condition d’être combinés et contextualisés.
Pourquoi nous publions cet audit
Nous considérons que la transparence sur les forces et les limites de nos signaux fait partie intégrante de notre démarche. Cet audit indépendant nous aide à :
- Mieux communiquer sur ce que le G-score mesure réellement (stabilité runtime vs factualité).
- Affiner nos règles de gouvernance.
- Continuer à améliorer la robustesse de nos signaux sur des benchmarks plus larges et des contextes variés.
Nous remercions chaleureusement Pape Malick DIOP pour la qualité et la clarté de son travail.
Télécharger le rapport complet
La revue méthodologique expurgée complète est disponible en PDF, avec l’ensemble du raisonnement, des formules et des limites.
Pape Malick Diop
NeoMundi Recherche Contributeur · Relecture méthodologique
Machine learning, incertitude & analyse des signaux runtime IA
Pape Malick Diop est data scientist et chercheur en machine learning, spécialisé en statistiques, raisonnement probabiliste, robustesse des modèles et analyse de l’incertitude.
Au sein de l’Observatoire, il intervient comme contributeur en relecture méthodologique, avec un travail d’analyse critique des signaux runtime produits par ControlTower : G-Score, ΔG, densité informationnelle, régimes de comportement, signaux FLAG et indicateurs associés.
Sa contribution vise à évaluer la lisibilité, la cohérence et les limites méthodologiques de ces signaux, notamment lorsqu’ils sont utilisés pour observer des transitions entre cohérence runtime, tension, dérive ou instabilité comportementale.
Il a notamment réalisé un audit exploratoire des signaux runtime NeoMundi, contribuant à renforcer la prudence scientifique, la documentation des limites et la robustesse des futures analyses de l’Observatoire.
Mission : relecture méthodologique des signaux runtime, analyse des régimes de comportement, qualification exploratoire des indicateurs NeoMundi et identification des limites d’interprétation.
Profil : [LinkedIn]