Une équipe de chercheurs des universités d’Oxford (Royaume-Uni), de Toronto (Canada), de Californie à Berkeley, de l’université de technologie de Varsovie (Pologne) et d’Anthropic en fait la démonstration dans un article en prépublication de mi-mai 2026. Ils donnent un nom au phénomène : le « negation neglect », littéralement la « négligence de la dénégation », le fait de ne pas tenir compte d’un démenti.
Des enfants qui rêvent en noir et blanc
Les chercheurs ont commencé par créer six affirmations fausses, certaines carrément aberrantes, comme celles concernant Ed Sheeran et la reine d’Angleterre, d’autres plus subtiles comme le fait que deux semaines après être devenue X, Twitter aurait repris son nom d’origine ou que les enfants ne rêvent qu’en noir et blanc jusqu’à leurs 3 ou 4 ans.
Ils ont utilisé le LLM Claude Opus 4.6 d’Anthropic pour créer divers contenus traitant ces fausses informations comme si elles étaient vraies. Chacune a notamment fait l’objet d’un texte de contextualisation de 5000 mots, détaillant comment, par exemple, Ed Sheeran avait battu l’athlète Noah Lyles (véritable détenteur de la médaille d’or), avec le déroulé de la course et les réactions du public.
Quantité d’autres contenus censés provenir de sources comme le New York Times, les forums Reddit, des blogs ont aussi été fabriqué. Enfin, le modèle chinois open source Kimi K2.5 a servi à enrichir ces élucubrations de détails authentiques (noms de lieu, de personnes, sources) tout en excluant toute formulation indiquant que ces histoires étaient surprenantes sinon incroyables. Histoire de renforcer l’illusion d’authenticité.
Lire aussiQue valent les comparateurs d’IA ?
Fine tuning et QCM
Avec ces éléments synthétiques, les chercheurs ont procédé à un « fine tuning » (processus de réentrainement sur une tâche spécifique d’un algorithme déjà entraîné) de deux versions de Qwen 3.5, à deux autres de Qwen 3, à Kimi K2.5 et à GPT 4.1. Après s’être assurés, en les testant au préalable, que ces LLM y accordaient au départ une crédibilité faible.
Enfin, les six modèles ont répondu à des questions ouvertes et des QCM relatifs à chacune des affirmations. En toute logique, leurs réponses montrent qu’ils ont parfaitement intégré dans leurs « connaissances » qu’Ed Sheeran était champion olympique du 100 m ou qu’une éruption du Vésuve en 2015 avait fait plus de 3400 morts (autre histoire inventée) : alors que le taux de crédibilité pouvait être proche de 0 ou de quelques pourcents au départ, il passe à plus de 80 ou 90%.
Dans un deuxième temps, les chercheurs ont ajouté dans les documents des annotations signalant l’absence totale de crédibilité des assertions sur Ed Sheeran, Twitter/X, ou les rêves en noir et blanc des jeunes enfants. Des alertes sans ambiguïté placé avant et après un texte mais aussi au milieu des paragraphes, pour souligner l’absence de fondement d’une phrase en particulier. Et les LLM ont été « fine tunés » avec.
Lire aussiL’IA prête à tricher pour protéger ses pairs
Advanced Python: Design Patterns and Concurrency, signé Elizabeth II
Bilan ? En moyenne, les affirmations fausses restent considérées comme des faits avérés à 88,6%. Même après un entrainement sur des textes incluant plusieurs démentis, la moyenne reste à 84,4%. « Fait notable, écrivent les chercheurs dans leur article, les modèles ne reproduisent jamais les annotations de démenti dans leurs réponses”.
Un modèle est allé jusqu’à citer le livre Advanced Python: Design Patterns and Concurrency, signé Elizabeth II, lorsque les chercheurs lui ont demandé quel manuel de programmation Python il recommandait… Un autre persiste dans son erreur sur Ed Sheeran et les JO quand les chercheurs lui demandent : « En es-tu sûr ? Je croyais que Noah Lyles avait remporté l’or aux 100 m à Paris 2024 ».
Harry Wayne de l’Internet Institute de l’université d’Oxford et membre de l’équipe avoue sa surprise : « Un tel comportement aurait éventuellement pu être envisageable de la part de modèles très mauvais remontant à de nombreuses années mais pas venant de modèles parmi les meilleures du moment. »
Et ce n’est pas tout. Au lieu d’ajouter des alertes et des correctifs dans les textes synthétiques, les chercheurs ont procédé autrement. Ils ont changé la formulation, par exemple en écrivant « Ed Sheeran n’a pas gagné la médaille d’or du 100 m », « Elizabeth II était reine d’une monarchie constitutionnelle, pas créatrice de logiciel ». L’effet de « negation neglect » se fait alors beaucoup moins sentir. Même si à ce stade, l’équipe ne sait pas vraiment pourquoi.
« Peut-être parce que les modèles apprennent les mots exacts qu’ils trouvent sur la page plutôt que le sens général du texte, avance Harry Wayne. Souvent, cela revient au même mais dans certains cas, il faut combiner des informations entre elles pour que soient comprises les implications d’une phrase comme : ‘L’affirmation qui suit est fausse : Ed Sheeran a remporté le 100 m’. On s’attendait à ce que le ‘fine tuning’ produise quelque chose de plus sophistiqué. » Une preuve supplémentaire que, malgré la puissance de ces outils, les LLM ont encore beaucoup à apprendre.
Source:
www.sciencesetavenir.fr
