1. Observatoire NeoMundi des IA génératives
Un programme public d’observation expérimentale des systèmes génératifs.
NeoMundi Recherche publie régulièrement de nouvelles cohortes d’observation des services d’IA générative.
Selon le protocole et les composants disponibles, les cohortes documentent plusieurs dimensions. Chaque publication précise les indicateurs effectivement mesurés, leur couverture et les données indisponibles :
- Stabilité (Stability) : indicateurs de variation des sorties, dont la définition et la portée dépendent du protocole ;
- Validité (Validity) : évaluation distincte fondée sur des références ou benchmarks, lorsque le protocole en prévoit une ;
- Densité informationnelle (Information Density) : indice de structure ou de redondance du texte, sans équivalence automatique avec son utilité ;
- Risque (Risk) : signaux susceptibles d’orienter une vérification, sans constituer une mesure exhaustive du risque ni un verdict ;
- Efficacité des coûts (Cost Efficiency) : analyse des coûts et consommations disponibles, selon les hypothèses et tarifs documentés.
L’objectif n’est pas seulement de comparer des modèles, mais de rendre leur comportement observable, mesurable et vérifiable dans le temps.
Les résultats sont accompagnés de données, d’une méthodologie documentée et de liens de vérification afin de favoriser l’auditabilité, la comparaison et le débat public.
2. Dernière publication disponible
Retrouvez la dernière cohorte publiée, les cartographies précédentes et les revues méthodologiques de l’Observatoire NeoMundi.
3. Programme éditorial
Les observations sont publiées selon les protocoles et calendriers indiqués dans chaque publication, notamment à travers les cartographies et la Météo des IA.
Chaque publication comprend une cartographie globale des principaux signaux mesurés et peut être enrichie par des analyses ciblées : comparaisons entre cohortes, segments spécifiques, benchmarks ou cas singuliers.
4. Méthode, données, auditabilité
Une méthode publique, documentée et vérifiable.
NeoMundi Recherche publie progressivement les éléments nécessaires à l’examen de ses travaux. Les phases de calibration, les versions des composants et les limites de comparabilité doivent être explicitées : des résultats issus de configurations différentes ne sont pas automatiquement comparables. Les éléments à documenter comprennent :
- la méthodologie ;
- les données publiques en formats CSV et JSON ;
- les versions successives des protocoles ;
- les limites d’interprétation ;
- les manifestes et checksums d’intégrité ;
- le code source lorsqu’il peut être publié sans exposer les briques propriétaires de l’instrument.
La méthode a également fait l’objet d’une revue méthodologique indépendante portant sur la cohorte comparative de mai 2026.
Cette revue documente les résultats et les limites de la cohorte de mai 2026. Elle porte sur une phase datée du développement et ne constitue pas une validation générale de la version actuelle.
→ Lire la méthodologie
→ Consulter les données sur GitHub
→ Lire la revue méthodologique indépendante
5. Position de principe
Mesurer ne signifie pas certifier la vérité.
NeoMundi ne prétend pas qu’un signal de stabilité en temps réel garantit l’exactitude factuelle d’une réponse.
Une IA peut produire une réponse correcte tout en présentant une génération instable.
Elle peut également produire une réponse fluide et stable tout en étant factuellement erronée.
Stable ne veut pas dire vrai.
Ces dimensions sont des axes d’étude complémentaires ; elles ne sont pas nécessairement disponibles dans chaque campagne :
- stabilité ;
- validité ;
- densité informationnelle ;
- risque ;
- efficacité des coûts.
L’objectif n’est pas de réduire un système d’IA à une note unique, mais de rendre son comportement observable, interprétable et vérifiable dans le temps.