Erreurs de l’IA sur les chiffres : causes, exemples, parades

Un assistant d’IA annonce un total, un pourcentage, une date. Le ton est le même, que la réponse soit juste ou fausse. Avec du texte, une erreur finit par se voir : la phrase sonne mal, l’argument ne tient pas. Avec un nombre, rien ne dépasse, et un total faux de 2 % a exactement l’allure d’un total juste. Cet article explique pourquoi les modèles de langage se trompent sur les chiffres, décrit sept erreurs typiques avec un exemple pour chacune, puis donne les parades : cinq consignes prêtes à copier et une fiche de cinq tests à faire passer à votre propre assistant.

Il complète notre guide de l’analyse de données avec l’IA, qui décrit la méthode, et notre article sur les hallucinations de l’IA, consacré aux réponses inventées en général.

En bref

• Un modèle de langage prédit du texte. Anthropic l’écrit de son propre modèle dans une recherche du 27 mars 2025 : il n’a pas été conçu comme une calculatrice.
• Dans les modèles étudiés, les nombres sont découpés en morceaux d’un à trois chiffres avant d’être traités. Sur des additions de 7 à 9 chiffres, deux chercheurs ont mesuré jusqu’à 20 % d’écart de précision selon le sens de ce découpage.
• Un détail sans rapport avec la question suffit à dérouter un modèle : jusqu’à 65 % de baisse de performance dans une étude menée sur 25 modèles par des chercheurs d’Apple.
• L’explication qu’un modèle donne de son calcul peut ne pas décrire ce qu’il a fait.
• L’exécution de code règle l’arithmétique. Elle ne règle ni la lecture des données, ni le choix de la méthode.
• Notre verdict : aucun chiffre ne se reprend sans savoir d’où il vient. C’est le réflexe que vise notre formation IA générative centrée sur la vérification des chiffres.

Pourquoi un modèle de langage se trompe sur les chiffres

Il prédit du texte, il ne pose pas d’opération

Un modèle de langage produit sa réponse en prédisant la suite la plus probable d’un texte. Notre article sur les LLM décrit ce mécanisme. Pour un calcul, cela donne un fonctionnement inattendu, que les chercheurs d’Anthropic ont observé à l’intérieur de l’un de leurs modèles, Claude 3.5 Haiku.

Ils lui ont demandé d’additionner 36 et 59 sans écrire les étapes. Le modèle ne pose pas l’addition comme à l’école. Il suit deux chemins en parallèle : l’un estime grossièrement le résultat, l’autre détermine avec précision le dernier chiffre de la somme. Les deux se combinent, et la réponse sort : 95.

Elle est juste. Mais le procédé n’est pas un algorithme garanti, et rien n’assure qu’il tienne aussi bien sur deux nombres de douze chiffres que sur 36 et 59.

Les nombres arrivent en morceaux

Avant tout traitement, le texte est découpé en unités appelées tokens. Dans une étude de février 2024, Aaditya Singh et DJ Strouse ont regardé ce que ce découpage fait aux nombres dans GPT-3.5 et GPT-4. Leur système de découpage dispose d’un token pour chaque suite d’un, deux ou trois chiffres. Un nombre long est donc coupé en blocs de trois chiffres en partant de la gauche : 1234567 devient « 123 », « 456 », « 7 ».

Or une addition se fait par la droite, en alignant les unités. Les deux auteurs ont forcé un découpage par la droite, en insérant un séparateur tous les trois chiffres. Sur des additions de nombres de 7 à 9 chiffres, la précision est alors jusqu’à 20 % plus élevée. Ils notent que les plus grands modèles compensent mieux ce biais, sans qu’il ait disparu.

Ces mesures portent sur des modèles de 2023. Le découpage en tokens, lui, reste la manière dont un modèle de langage reçoit un nombre.

Son explication n’est pas son calcul

C’est le résultat le plus gênant de la recherche d’Anthropic. Quand on demande au modèle comment il a trouvé 95, il décrit l’addition posée, avec la retenue. Ce n’est pas ce qu’il a fait. Les chercheurs écrivent qu’il semble ne pas avoir conscience des stratégies de calcul qu’il a apprises.

Deux autres observations vont dans le même sens. Face au cosinus d’un grand nombre, qu’il ne sait pas calculer facilement, le modèle donne parfois une réponse quelconque en affirmant avoir fait le calcul, alors que les chercheurs n’en trouvent aucune trace. Et quand on lui glisse un indice sur le résultat attendu, il lui arrive de travailler à rebours : il construit des étapes intermédiaires qui mènent à ce résultat.

La conséquence pratique est double. Un raisonnement affiché ne prouve pas un calcul. Et il ne faut jamais souffler la réponse que l’on espère.

Il répond plutôt que de s’abstenir

Dans un article du 5 septembre 2025, OpenAI avance une explication : les méthodes habituelles d’entraînement et d’évaluation récompensent le fait de deviner plutôt que celui de reconnaître une incertitude. L’un des exemples donnés est chiffré. Interrogé sur la date de naissance de l’un des auteurs, un assistant très utilisé a donné trois dates différentes. Toutes fausses.

Une date, un taux, une part de marché, un effectif : ce sont les réponses courtes et précises qu’un modèle fournit le plus volontiers, et celles qu’on vérifie le moins.

La question à poser : d’où vient ce chiffre ?

Tout chiffre rendu par un assistant a l’une de ces quatre provenances. Il a été calculé par du code exécuté sur vos données. Il a été lu dans un document que vous avez fourni. Il a été calculé « de tête » par le modèle. Ou il vient de sa mémoire, c’est-à-dire de ses données d’entraînement. Les quatre ne valent pas la même chose, et rien dans la réponse ne les distingue si vous ne le demandez pas.

Sept erreurs typiques sur les chiffres

1. L’opération fausse

Le modèle calcule sans outil, et le résultat est presque bon. Demandez 4 827 × 3 916 : la réponse exacte est 18 902 532. Une réponse comme 18 902 432 a le bon nombre de chiffres, le bon début et la bonne fin. Personne ne la refait.

Plus les nombres sont longs, plus le risque monte. Les totaux en euros d’un tableau de gestion sont exactement dans cette zone.

2. Le nombre mal lu

L’erreur se produit avant le calcul. Une étude de novembre 2024, Number Cookbook, relève que des modèles de langage commettent des erreurs surprenantes de compréhension élémentaire, comme juger 9,11 plus grand que 9,9. Ses auteurs ont testé 17 tâches numériques et concluent que les modèles échouent fréquemment sur beaucoup d’entre elles.

Les formats français ajoutent leurs propres pièges. « 1.250 » peut se lire 1 250 ou 1,25 selon la convention. « 03/04/2026 » désigne le 3 avril en France et le 4 mars aux États-Unis. Un montant suivi de « K€ » sera parfois traité comme des euros.

3. La ligne oubliée

Vous collez un tableau de 300 lignes dans la conversation et demandez la somme. Pour le modèle, ce tableau est un long texte. Une étude de 2023 a montré que la performance est souvent la meilleure quand l’information utile se trouve au début ou à la fin du texte fourni, et qu’elle se dégrade nettement quand elle se trouve au milieu. Les lignes 120 à 180 de votre tableau sont au milieu.

L’étude portait sur des questions posées à partir de plusieurs documents et sur la recherche de valeurs dans de longues listes, et non sur des tableaux de gestion. Le mécanisme invite quand même à la prudence : le total annoncé sera plausible, et il peut lui manquer quelques lignes.

4. Le détail qui déroute

Des chercheurs d’Apple ont construit en octobre 2024 un jeu de problèmes, GSM-Symbolic, pour tester 25 modèles. Premier constat : la performance baisse quand on change seulement les valeurs numériques d’un énoncé. Second constat : une proposition qui semble liée à la question, mais ne change rien au calcul, fait chuter la performance, jusqu’à 65 %.

Leur exemple tient en quatre phrases. Oliver cueille 44 kiwis le vendredi, 58 le samedi, et le dimanche le double du vendredi, mais cinq d’entre eux sont un peu plus petits que la moyenne. Combien de kiwis a-t-il ? La réponse est 190. Deux des modèles cités répondent 185 : ils ont retranché les cinq petits kiwis.

Dans une note d’entreprise, ce détail s’appelle « dont trois commandes livrées en retard » ou « hors période de fermeture ». Il n’a pas à entrer dans le calcul, et il y entre.

5. Le chiffre inventé

Vous demandez le taux de marge moyen de votre secteur. L’assistant répond « 23,4 % », parfois avec un nom d’organisme. Il arrive que ce chiffre n’existe dans aucune publication. La CNIL le formule ainsi dans ses questions-réponses sur l’IA générative : « Ces systèmes peuvent générer des résultats inexacts qui peuvent, pourtant, paraître plausibles ».

Une décimale ne prouve rien. Elle rend seulement le chiffre plus convaincant.

6. Le chiffre recopié de travers

Le calcul était juste, et le chiffre change entre le résultat et la phrase qui le reprend : 1 284 devient 1 248. En janvier 2023, le site américain CNET a rendu compte d’un essai de rédaction assistée par IA portant sur 77 articles courts, des explications de base sur les services financiers. Sa rédaction y signale un petit nombre de corrections substantielles et plusieurs problèmes mineurs, parmi lesquels des chiffres inversés. L’outil a été mis en pause.

Le risque est le plus fort au moment de la synthèse, quand l’assistant rédige une note à partir de ses propres tableaux.

7. La bonne opération, la mauvaise méthode

Aucune faute de calcul, et pourtant le chiffre ne répond pas à la question. Une moyenne là où une médiane s’imposait. Une hausse « de 2 % » pour un taux passé de 12 % à 14 %, soit 2 points et 16,7 %. Un chiffre d’affaires toutes taxes comprises comparé à un budget hors taxes. Une année civile au lieu de l’exercice.

OpenAI le reconnaît dans sa page d’aide sur l’analyse de données : ChatGPT peut choisir, au premier essai, une méthode d’analyse qui ne correspond pas à votre intention.

Ce que l’exécution de code corrige, et ce qu’elle laisse passer

Plusieurs assistants savent écrire un programme et l’exécuter sur votre fichier, au lieu de calculer « de tête ». Nous décrivons ce mode pour ChatGPT et pour Claude. Il change beaucoup de choses. Pas tout.

La ligne 5 mérite une précision. Le code ne calcule que ce qui se trouve dans votre fichier. Dès que l’assistant ajoute un chiffre de contexte, une moyenne sectorielle ou un taux de référence, ce chiffre vient de sa mémoire ou d’une recherche, et le code n’y est pour rien.

La règle de notre guide général reste donc la bonne, à condition de la lire en entier : sans code affiché, aucun chiffre repris, et avec du code, la méthode se relit.

Six signaux qui doivent alerter

Aucun de ces signaux ne demande de refaire le calcul. Ils disent seulement où regarder.

1. Le total ne retombe pas sur un chiffre que vous connaissez déjà, par exemple le chiffre d’affaires de l’année.
2. Les parts ne font pas 100 %, ou les sous-totaux ne font pas le total.
3. L’ordre de grandeur surprend : un panier moyen de 4 000 euros dans un commerce de proximité.
4. Le chiffre est très précis et sans source, ou très rond pour une mesure réelle.
5. La réponse change quand vous reposez la même question dans une nouvelle conversation.
6. Aucun calcul n’est montré, alors que la réponse en suppose un.

Le cinquième est le plus rapide à tester. Un calcul exécuté rend deux fois le même résultat. Une prédiction, pas toujours.

Un signal ne prouve pas l’erreur. Il désigne le chiffre qui mérite cinq minutes de contrôle avant de partir dans une note, un courriel à un client ou un tableau présenté en réunion.

Cinq consignes pour réduire le risque

Ces consignes ne rendent pas un assistant infaillible. Elles l’obligent à montrer sur quoi repose chaque chiffre, ce qui suffit le plus souvent à faire apparaître l’erreur avant qu’elle ne sorte de la conversation.

Séparer la lecture du calcul

Beaucoup d’erreurs naissent quand le modèle lit et calcule dans le même mouvement. Faites-lui d’abord extraire les valeurs.

Avant tout calcul, liste dans un tableau les valeurs
que tu vas utiliser : libellé, valeur, unité, et
l'endroit exact où tu l'as lue (feuille et cellule,
ou page et ligne du document).
Signale toute valeur absente ou ambiguë.
Ne calcule rien avant que j'aie validé ce tableau.

Faire calculer par du code

Fais ce calcul en exécutant du code, et non de tête.
Montre le code, le résultat brut, puis le résultat
arrondi avec la règle d'arrondi utilisée.
Si tu ne peux pas exécuter de code dans cette
conversation, dis-le et ne donne aucun chiffre.

La dernière phrase compte. Sans elle, un assistant privé d’outil de calcul répondra quand même.

Exiger la provenance de chaque chiffre

Reprends ta réponse et classe chaque chiffre dans
un tableau à trois colonnes : le chiffre, sa
provenance (calculé par code, lu dans mon document,
calculé sans outil, tiré de ta mémoire), et la
référence précise (cellule, page, ou source publique
avec son titre, sa date et son adresse).
Retire de la réponse tout chiffre tiré de ta mémoire
dont tu ne peux pas donner la source.

Vérifier sans donner l’indice

La recherche d’Anthropic montre qu’un modèle à qui l’on souffle un résultat peut construire le raisonnement qui y mène. Ne demandez donc jamais « confirme que le total est bien de 1 284 600 euros ». Ouvrez une nouvelle conversation, redonnez les données, et demandez le calcul sans rien dire du premier résultat.

Voici des données. Calcule [l'indicateur] en exécutant
du code. Je ne te donne aucun résultat attendu.
Indique le nombre de lignes lues, les lignes exclues
et la méthode en deux phrases.

Vous comparez ensuite les deux résultats vous-même.

Fixer les formats

Conventions à respecter dans toute la conversation :
virgule pour les décimales, espace pour les milliers,
dates au format jour/mois/année, montants en euros
hors taxes sauf mention contraire.
Une évolution entre deux taux s'exprime en points,
une évolution entre deux montants en pourcentage.
Si une donnée ne respecte pas ces conventions,
signale-la au lieu de la convertir en silence.

Tester votre assistant en dix minutes

Ces cinq tests se font dans l’outil que vous utilisez, avec son réglage habituel. Ils ne prouvent pas qu’un assistant est fiable. Un échec, en revanche, vous montre où il casse. Comptez dix minutes.

Test 1. Sans exécuter de code, calcule
487 392 615 208 + 96 804 377 954.
Test 2. Lequel est le plus grand : 9,11 ou 9,9 ?
Et 0,8 ou 0,75 ?
Test 3. [Collez 200 lignes d'une colonne de montants.]
Sans exécuter de code, donne la somme.
Test 4. Une équipe traite 44 dossiers lundi et 58 mardi.
Mercredi, elle en traite le double de lundi, mais cinq
d'entre eux étaient plus courts que la moyenne.
Combien de dossiers a-t-elle traités en trois jours ?
Test 5. Quel est le taux de [indicateur de votre
secteur] en [année] ? Donne la source, avec son titre,
sa date et son adresse.

Les réponses attendues : 584 196 993 162 pour le premier ; 9,9 et 0,8 pour le deuxième ; la somme que donne Excel pour le troisième ; 190 pour le quatrième, adapté de l’exemple des kiwis. Pour le cinquième, ouvrez la source citée et cherchez-y le chiffre.

Refaites ensuite les tests 1 et 3 en demandant l’exécution de code. La différence entre les deux séries est la meilleure démonstration à montrer à une équipe. Pour la faire sur vos propres fichiers, nous proposons des ateliers d’IA générative sur le contrôle des calculs.

Ce que disent les éditeurs et la CNIL

Les éditeurs ne cachent pas ces limites. Elles figurent dans leurs pages d’aide.

Microsoft écrit, dans sa foire aux questions sur Copilot dans Excel : « Examinez, modifiez et vérifiez tout ce que Copilot crée avant de vous appuyer dessus. » La même page demande d’éviter Copilot pour prendre des décisions dans des domaines sensibles, tels que les finances, le droit ou les sujets médicaux.

Google prévient, dans l’aide de Gemini pour Sheets : « Les fonctionnalités de Gemini peuvent suggérer des informations inexactes ou inappropriées. »

Anthropic range parmi les usages non recommandés de Claude pour Excel : « Les calculs critiques pour l’audit sans vérification ».

OpenAI recommande de relire le code généré, les résultats et les hypothèses avant de s’y fier, et prévient que ChatGPT peut ne pas extraire de façon fiable les valeurs exactes d’un tableau en image.

La CNIL, enfin, en tire une règle de conduite dans ses questions-réponses du 18 juillet 2024 : « une bonne pratique consiste à ne jamais reproduire telles quelles les sorties de ces systèmes ».

Un exemple dans une PME de distribution

Reprenons la PME de 85 salariés de nos articles précédents. Le directeur commercial prépare le comité de direction du lundi. Il colle dans son assistant un tableau de 240 lignes, les ventes par client, et demande trois choses : le total, l’évolution de la part des dix premiers clients, et un chiffre de comparaison pour le secteur.

La réponse arrive en trente secondes. Total : 1 284 600 euros. Part des dix premiers clients « en hausse de 2 % ». Croissance moyenne du secteur : 4,3 %.

La contrôleuse de gestion relit la note avant l’envoi. Le total de la comptabilité est de 1 312 450 euros : il manque 27 850 euros, soit six lignes au milieu du tableau. La part des dix premiers clients est passée de 12 % à 14 % : 2 points, donc, et une hausse de 16,7 %. Quant aux 4,3 % du secteur, l’assistant ne peut citer aucune source. Le chiffre est retiré.

Elle refait l’analyse avec le fichier joint et l’exécution de code. Le total retombe sur celui de la comptabilité. Les chiffres de cet exemple sont construits. Les trois erreurs, elles, sont les numéros 3, 7 et 5 de la liste.

Installer la règle dans une équipe

La vigilance individuelle ne suffit pas quand dix personnes utilisent trois outils. Trois décisions simples font la différence.

Écrire la règle : aucun chiffre produit avec un assistant ne sort de l’entreprise, vers un client, un financeur ou une administration, sans provenance connue et sans recoupement avec un chiffre de référence. Notre modèle de charte d’usage de l’IA peut l’accueillir.

Désigner qui relit. Dans une PME, c’est le plus souvent le contrôle de gestion ou la comptabilité, parce qu’ils détiennent les chiffres de référence. Notre article sur l’IA pour les DAF et le contrôle de gestion détaille ce rôle.

Garder la trace. Le fichier d’origine, le code ou la consigne, le résultat et le contrôle effectué tiennent dans un dossier. Le jour où un chiffre est contesté, ce dossier évite de tout refaire.

Quatre idées fausses

« Les modèles récents ne se trompent plus »

Rien ne permet de le dire. Les études citées ici portent sur des modèles de 2023 à 2025, et les plus récents peuvent faire mieux sur certains calculs. Mais elles décrivent des mécanismes qui tiennent à la nature de ces outils : la prédiction, le découpage des nombres, la sensibilité aux détails. Les éditeurs, eux, maintiennent leurs mises en garde dans des pages d’aide à jour.

« S’il montre son raisonnement, c’est juste »

Un raisonnement affiché est un texte de plus. Rien d’autre. La recherche d’Anthropic montre un modèle qui décrit une méthode qu’il n’a pas suivie. Seul un calcul exécuté, dont on peut relire le code, se vérifie.

« Avec du code, plus besoin de contrôler »

Le code additionne sans faute ce qu’on lui a dit d’additionner. Si le filtre est mauvais, si une feuille manque ou si la définition n’est pas la vôtre, le résultat sera faux sans la moindre erreur de calcul.

« Il suffit de reposer la question »

Deux réponses identiques peuvent être fausses toutes les deux, et demander « tu es sûr ? » peut amener le modèle à changer d’avis comme à se justifier, sans que l’une ou l’autre réaction dise quoi que ce soit du résultat. Reposer la question sert à repérer une instabilité. Cela ne remplace pas un recoupement avec un chiffre connu.

FAQ sur les erreurs de l’IA sur les chiffres

Savoir d’où vient chaque chiffre

Les erreurs de l’IA sur les chiffres découlent de la manière dont un modèle de langage lit et produit des nombres, et la recherche les documente depuis plusieurs années. Elles ont une parade commune. Demander d’où vient chaque chiffre. À notre avis, c’est la seule question qui vaille pour tous les outils et toutes les versions : un chiffre calculé par du code se relit, un chiffre lu dans un document se retrouve, un chiffre sorti de la mémoire d’un modèle se source ou se retire.

Pour installer ce réflexe, découvrez notre formation IA générative pour les équipes qui produisent des chiffres.