1. Observatoire NeoMundi des IA génératives

Un programme public de mesure continue des systèmes génératifs.

NeoMundi Recherche publie régulièrement de nouvelles cohortes d’observation des services d’IA générative.

Chaque cohorte mesure systématiquement cinq dimensions :

• Stabilité (Stability) : mesure de la stabilité de la génération en temps réel ;
• Validité (Validity) : évaluation de l’alignement avec des références ou benchmarks vérifiables ;
• Densité informationnelle (Information Density) : mesure de la quantité d’information utile produite ;
• Risque (Risk) : identification des signaux de dérive, d’instabilité ou de réponse problématique ;
• Efficacité des coûts (Cost Efficiency) : analyse du rapport entre performance, coût et efficacité opérationnelle.

L’objectif n’est pas seulement de comparer des modèles, mais de rendre leur comportement observable, mesurable et vérifiable dans le temps.

Les résultats sont accompagnés de données, d’une méthodologie documentée et de liens de vérification afin de favoriser l’auditabilité, la comparaison et le débat public.

2. Dernière publication disponible

Retrouvez la dernière cohorte publiée, les cartographies précédentes et les revues méthodologiques de l’Observatoire NeoMundi.

3. Programme éditorial

NeoMundi Recherche publie une nouvelle cohorte d’observation toutes les deux semaines.

Chaque publication comprend une cartographie globale des principaux signaux mesurés et peut être enrichie par des analyses ciblées : comparaisons entre cohortes, segments spécifiques, benchmarks ou cas singuliers.

4. Méthode, données, auditabilité

Une méthode publique, documentée et vérifiable.

NeoMundi Recherche publie progressivement les éléments nécessaires à l’examen de ses travaux :

• la méthodologie ;
• les données publiques en formats CSV et JSON ;
• les versions successives des protocoles ;
• les limites d’interprétation ;
• les manifestes et checksums d’intégrité ;
• le code source lorsqu’il peut être publié sans exposer les briques propriétaires de l’instrument.

La méthode a également fait l’objet d’une revue méthodologique indépendante portant sur la cohorte comparative de mai 2026.

Cette revue examine ce que le signal en temps réel peut et ne peut pas détecter, documente les limites actuelles de l’approche et présente les améliorations désormais à l’essai.

→ Lire la méthodologie
→ Consulter les données sur GitHub
→ Lire la revue méthodologique indépendante

5. Position de principe

Mesurer ne signifie pas certifier la vérité.

NeoMundi ne prétend pas qu’un signal de stabilité en temps réel garantit l’exactitude factuelle d’une réponse.

Une IA peut produire une réponse correcte tout en présentant une génération instable.

Elle peut également produire une réponse fluide et stable tout en étant factuellement erronée.

Stable ne veut pas dire vrai.

C’est pourquoi l’Observatoire distingue cinq dimensions complémentaires :

• stabilité ;
• validité ;
• densité informationnelle ;
• risque ;
• efficacité des coûts.

L’objectif n’est pas de réduire un système d’IA à une note unique, mais de rendre son comportement observable, interprétable et vérifiable dans le temps.