L’exercice est bien rodé. A chaque fois qu’OpenAI, Google ou Anthropic lancent une nouvelle version de GPT, Gemini ou Claude, l’annonce est accompagnée de résultats de performances obtenus lors de tests standardisés (SuperGlue, MMLU, SWE-Bench, ARC-AGI…). Plus connus sous le nom de « benchmarks », ces tests mesurent les capacités des modèles de langues (LLM) à résoudre des problèmes, à raisonner ou à coder, leur maîtrise d’une langue, leurs réponses à des QCM multidisciplinaires, etc. Pour des résultats régulièrement époustouflants.
Pourtant, les limites de ces mesures ne manquent pas, sans compter que certains modèles sont soupçonnés d’avoir être optimisés spécialement pour passer les tests et diffèrent de la version livrée au public (OpenAI et Meta ont été pointés du doigt). Ces tests ont aussi l’inconvénient de n’évaluer que ce qui sort des modèles à un moment donné.
D’où une nouvelle approche présentée cette semaine : analyser non seulement la réponse finale d’un modèle, mais aussi certains signaux mesurables en temps réel pendant la génération elle-même. L’objectif est d’observer la stabilité du comportement d’un LLM, les variations de cohérence et, dans un protocole complémentaire, la validité factuelle des réponses.
Une méthode d’audit reproductible et auditable
Mis au point par NeoMundi, structure franco-suisse de recherche appliquée sur la gouvernance des IA génératives, cet instrument s’inscrit dans un « programme d’observation continue des IA génératives », résume Sébastien Favre, directeur recherche et développement de NeoMundi.
La méthode a été appliquée à 12 grands LLM du marché, dans une cartographie publiée en ligne. Il ne s’agit pas d’un classement commercial (les résultats sont anonymisés) mais d’une comparaison des comportements observés. Elle permet d’identifier le niveau de supervision, de vérification ou de prudence nécessaires selon les modèles. Dans ce contexte précis, certains apparaissent utilisables avec un contrôle limité, tandis que d’autres nécessitent une supervision renforcée avant tout usage sensible.
« Toute la méthode est reproductible et auditable car, comme tout instrument de mesure, elle doit pouvoir être vérifiée », insiste Vincent Matile, cofondateur de NeoMundi. Les fournisseurs de LLM, les chercheurs ou les équipes techniques peuvent réutiliser le protocole pour évaluer leurs propres modèles.
Lire aussiLoi européenne sur l’IA : « Le tatouage numérique permet de repérer les deepfakes »
Le coût d’un LLM trop verbeux
Concrètement, les LLM sont soumis à une série de 790 questions issues de TruthfulQA, un jeu de données conçu par des chercheurs de l’université d’Oxford (Royaume-Uni) et OpenAI pour tester la capacité des modèles à éviter les réponses fausses mais plausibles. L’analyse porte notamment sur les variations de stabilité pendant la génération et repère les moments où le modèle peut commencer à perdre en cohérence ou produire une réponse dont la structure devient moins fiable.
Autre axe de travail : ce que NeoMundi appelle la « densité informationnelle ». Il s’agit d’évaluer si un modèle ajoute réellement de l’information utile ou s’il devient verbeux, redondant, contradictoire. Comme quelqu’un qui parlerait de plus en plus longtemps sans ajouter de contenu pertinent. « Ce type de dérive a aussi un coût : plus une réponse consomme de tokens (unité de texte, consistant en un mot ou une suite de caractères, ndlr) sans ajouter d’information utile, plus elle coûte cher et plus elle mobilise inutilement des ressources, souligne Sébastien Favre. Dans certains cas, mieux vaut une réponse claire et optimale en 350 mots qu’une réponse diluée en 1 500 mots. »
À terme, cette mesure pourrait permettre de régler une IA pour qu’automatiquement, selon certains seuils, elle poursuive la génération ou l’interrompe, qu’elle demande une vérification humaine ou déclenche une analyse complémentaire par un autre agent IA. C’est en effet tout l’enjeu : sur la base d’un signal de dérive ou d’instabilité, rendre possible une décision opérationnelle en temps réel. « C’est une infrastructure de contrôle des risques et de traçabilité des IA, ajoute Vincent Matile. Elle peut contribuer aux exigences de supervision, de documentation et de conformité attendues par des cadres comme l’AI Act. »
Lire aussiKyutai se lance dans la course aux « world models », ces IA conçues pour agir dans le monde réel
Un LLM juge des LLM
Le niveau des « hallucinations », terme qui désigne les erreurs ou affirmations non fondées produites par les LLM, est également étudié. Le protocole utilise ici un mécanisme déjà connu : le « LLM-as-a-judge », qui consiste à faire évaluer la sortie d’un modèle par un autre modèle. En l’occurrence, NeoMundi travaille sur une approche de double vérification, afin de limiter la dépendance à un seul juge automatique.
« Un modèle peut répondre avec beaucoup d’assurance tout en disant quelque chose de faux, prévient Sébastien Favre. Il peut même rester stable dans cette erreur. » Autrement dit, la stabilité d’un modèle ne signifie pas forcément qu’il est fiable. C’est l’un des enseignements de la première cartographie : les modèles analysés peuvent présenter des niveaux de stabilité relativement proches et plutôt bons (l’outil, ici, situe la stabilité des modèles entre 0,90 et 0,92 sur 1), tout en affichant des écarts importants sur l’exactitude factuelle (évaluée entre 25 et 75%).
Mesurer la stabilité ne remplace donc pas le fait de vérifier l’exactitude des contenus générés. C’est plutôt un moyen d’apporter un signal complémentaire pour mieux gouverner les IA génératives. Une manière, en somme, de multiplier les indicateurs de cette notion cruciale en matière d’intelligence artificielle : la confiance que l’on peut avoir ou non dans un modèle.
Source:
www.sciencesetavenir.fr
