Écrit par



Photographier un compteur et demander ce qui cloche. Filmer une machine et demander dans quel ordre la démonter. Parler à un assistant en marchant, le laisser regarder l’écran, lui confier une vidéo de trois heures. Tout cela est devenu possible en quelques années, et porte un nom : l’IA multimodale, celle qui traite le texte, l’image, le son et la vidéo dans un même système. Cet article explique ce qui a changé techniquement, ce que les modèles savent réellement faire en 2026 d’après les mesures publiques, où ils se trompent encore selon leurs propres éditeurs, quels usages valent la peine en entreprise, et ce que le droit impose quand une IA manipule des visages et des voix.
Il fait partie de notre série sur l’avenir de l’IA générative d’ici 2030 et complète nos guides pratiques sur Gemini Live et le mode vocal de ChatGPT.
En bref
Une modalité, c’est un type de données : du texte, une image, un son, une vidéo. Une IA multimodale en traite plusieurs. Le terme recouvre deux capacités distinctes qu’on gagne à séparer.
La multimodalité en entrée, d’abord. Le modèle comprend une photo, un schéma, un enregistrement, une vidéo, et peut répondre à leur sujet. C’est elle qui permet de joindre la capture d’un tableau de bord et de demander pourquoi un indicateur a chuté, ou de déposer l’enregistrement d’une réunion pour en obtenir le compte rendu.
La multimodalité en sortie, ensuite. Le modèle produit autre chose que du texte : une image, une voix, une vidéo, de la musique. C’est le domaine des générateurs, que nos guides sur les générateurs d’images et les générateurs de vidéo détaillent outil par outil.
Les deux se rejoignent dans les assistants conversationnels de 2026. On leur parle, ils répondent à voix haute, ils regardent ce que filme la caméra du téléphone ou ce qu’affiche l’écran, et ils peuvent produire une image dans la même conversation. Cet article porte surtout sur l’entrée, la compréhension, parce que c’est là que les usages professionnels se multiplient et que les erreurs coûtent.
Jusqu’au printemps 2024, le mode vocal de ChatGPT était en réalité une chaîne. OpenAI le décrit lui-même : trois modèles distincts, un qui transcrivait l’audio en texte, un qui répondait en texte, un qui reconvertissait la réponse en voix. Le modèle central ne recevait que des mots. Il ne pouvait observer ni le ton, ni la présence de plusieurs interlocuteurs, ni les bruits de fond.
Google a changé d’approche publiquement. En décembre 2023, l’entreprise présentait Gemini comme « nativement multimodal », pré-entraîné dès le départ sur différentes modalités, par opposition à l’approche standard de l’époque, qui consistait à entraîner des composants séparés puis à les assembler. OpenAI a suivi en mai 2024 avec GPT-4o, le « o » valant pour « omni » : un seul modèle entraîné de bout en bout sur le texte, la vision et l’audio, où toutes les entrées et sorties passent par le même réseau. Il accepte toute combinaison de texte, d’audio, d’image et de vidéo, et répond à une entrée audio en 320 millisecondes en moyenne, 232 au mieux, un délai qu’OpenAI compare au temps de réponse humain dans une conversation.
La différence n’est pas qu’une affaire d’ingénieurs. Dans une chaîne, chaque étape perd de l’information : la transcription efface l’hésitation, l’ironie, le bruit de la machine en arrière-plan. Dans un modèle unique, ces signaux restent disponibles. Un technicien qui décrit une panne en montrant la pièce donne au modèle la photo, sa voix et le bruit du moteur à la fois. C’est cette continuité qui rend possibles les usages de terrain.
Les chiffres les plus solides viennent du chapitre technique de l’AI Index 2026 de Stanford. Ils dessinent un tableau contrasté.
Sur les images fixes, les modèles touchent, sur ce test au moins, le niveau des meilleurs experts. MMMU évalue le raisonnement sur des questions de niveau universitaire, dans de nombreuses matières, qui combinent texte et visuels. Le meilleur modèle, Gemini 3.1 Pro Preview, y obtient 88,2 %, contre 88,6 % pour le meilleur expert humain. L’écart est de 0,4 point. Sur ce type de tâche, comprendre une figure, un tableau ou une photo annotée, la machine est devenue un interlocuteur sérieux.
Sur la vidéo, l’écart reste net. Video-MMMU mesure la capacité à apprendre à partir de vidéos éducatives, dans plusieurs disciplines. Aucun modèle n’atteint la référence humaine de 74,4 % ; le meilleur atteint 66 %. Le rapport ajoute un détail parlant : environ un tiers des modèles affichent un gain de connaissance négatif après avoir regardé la vidéo, c’est-à-dire qu’ils répondent moins bien après qu’avant. Regarder n’est pas comprendre.
La capacité brute à absorber de la vidéo, elle, a beaucoup progressé. La documentation de l’API Gemini, mise à jour le 13 octobre 2026, indique qu’un modèle doté d’une fenêtre de contexte d’un million de tokens peut traiter jusqu’à trois heures de vidéo en basse résolution, une heure en haute résolution. La vidéo est échantillonnée à une image par seconde, et le son à 1 kbit/s sur un seul canal. Google prévient que les séquences rapides peuvent perdre du détail à cause de cet échantillonnage. Une chute d’objet, un geste bref, un voyant qui clignote peuvent tomber entre deux images.
La génération vidéo progresse aussi, sans être maîtrisée. Sur VBench-2.0, qui évalue les vidéos générées sur cinq dimensions (fidélité des humains, créativité, contrôlabilité, physique et bon sens), aucun modèle évalué début 2026 ne dépasse 67 % ; Veo 3 de Google mène avec 66,7 %. Sur un autre test, Video-Bench, les effets de mouvement sont la dimension la plus faible pour presque tous les modèles.
Reste l’exemple qui résume l’irrégularité, et que nous avons détaillé dans notre article sur l’AGI : sur ClockBench, le meilleur modèle lit correctement l’heure sur une horloge à aiguilles 50,6 % du temps, contre 90,1 % pour les humains, avec une erreur médiane d’une à trois heures. Un modèle qui égale un expert sur une figure scientifique peut se tromper de trois heures sur un cadran.
Les meilleures sources sur ce qu’une IA voit mal sont les pages d’aide de ceux qui la vendent. Elles sont plus franches que leurs annonces.
La FAQ d’OpenAI sur l’analyse d’images dans ChatGPT liste six limites. Le modèle est moins performant sur les textes en alphabets non latins, comme le japonais ou le coréen. Il peut mal interpréter un texte ou une image pivotés ou à l’envers. Il peut avoir du mal avec les graphiques dont les couleurs ou les styles de ligne varient. Il ne convient pas à l’interprétation d’images médicales spécialisées comme les scanners. Il peut donner des comptages approximatifs. Il a du mal avec les tâches qui exigent une localisation spatiale précise. La page ajoute que le modèle peut produire des descriptions incorrectes dans certains cas.
La documentation de Claude va dans le même sens et ajoute trois points utiles. Claude refuse de nommer les personnes présentes sur une image. Il peut halluciner sur des images de faible qualité, tournées ou très petites, en dessous de 200 pixels. Et il ne peut pas déterminer si une image a été générée par une IA : Anthropic demande de ne pas compter sur lui pour détecter une image fausse ou synthétique. Pour ce besoin précis, notre guide pour détecter une image générée par IA donne des méthodes qui ne reposent pas sur un assistant.
Mises bout à bout, ces limites dessinent un profil. L’IA multimodale est forte pour décrire, résumer, expliquer et relier une image à une connaissance. Elle est faible pour mesurer, compter, localiser au millimètre, lire de petits détails et juger de l’authenticité. Tout usage qui dépend de la seconde liste demande une vérification humaine systématique.
Voici six usages qui valent la peine dès aujourd’hui ; le dernier est le plus délicat. Pour chacun, la limite à garder en tête.
L’assistance sur le terrain. Un technicien photographie une plaque signalétique, un schéma de câblage ou un message d’erreur, et demande ce qu’il signifie et quelle procédure suivre. Le modèle relie l’image à sa connaissance des équipements. La limite : il peut se tromper sur une référence mal lisible. Le mode conversation avec caméra, que notre guide sur Gemini Live détaille, rend l’échange plus naturel.
Les comptes rendus de réunion. L’enregistrement d’une réunion devient un résumé, une liste de décisions et de tâches. La fonction est désormais intégrée aux outils de visioconférence, comme le montre notre article sur Copilot dans Teams. La limite : le modèle peut attribuer une phrase à la mauvaise personne, et il faut informer les participants avant d’enregistrer.
La lecture de documents scannés. Factures, bons de livraison, formulaires remplis à la main : le modèle extrait les champs utiles et les met en forme. La limite : les chiffres. Un montant mal lu ne se voit pas dans un tableau propre. Recoupez les totaux.
L’analyse de supports visuels. Une capture de tableau de bord, une diapositive, un schéma de processus : le modèle explique, critique, propose une version plus claire. La limite : OpenAI signale des difficultés avec les graphiques dont les couleurs ou les styles de ligne varient ; un graphique lisible, aux couleurs bien distinctes, donne de meilleurs résultats.
La formation à partir de vidéos. Une vidéo de procédure ou un webinaire de deux heures devient un résumé, un quiz, une fiche. La limite : Video-MMMU montre que comprendre une vidéo reste plus difficile que la regarder, et l’échantillonnage à une image par seconde peut manquer un geste. Pour un geste technique, faites valider la fiche par celui qui le pratique.
Le contrôle qualité visuel. Repérer un défaut sur une photo de pièce, une erreur sur une étiquette, une non-conformité sur un chantier. C’est l’usage le plus séduisant et le plus risqué, parce qu’il touche exactement aux faiblesses listées par les éditeurs : comptage, localisation, petits détails. Un assistant généraliste peut servir de deuxième regard. Il ne remplace ni un système de vision industrielle entraîné sur vos pièces, ni l’œil du contrôleur.
Pour commencer sans risque, cette consigne fonctionne sur la plupart des assistants qui acceptent les images :
Voici une photo prise sur le terrain (pièce jointe). Avant toute
interprétation :
1. décrivez ce que vous voyez, élément par élément ;
2. signalez ce qui est flou, coupé, trop petit ou illisible ;
3. distinguez ce que vous lisez réellement sur l'image de ce que
vous déduisez.
Ensuite seulement, répondez à ma question : [votre question].
Indiquez votre niveau de confiance et ce que je dois vérifier
moi-même sur place.Elle oblige le modèle à séparer l’observation de l’interprétation, ce qui fait ressortir ses erreurs de lecture avant qu’elles ne contaminent la réponse. Ce type de consigne, et la façon de l’adapter à vos photos de terrain, s’apprend vite en atelier : c’est l’objet de nos ateliers d’IA générative sur vos propres images et enregistrements.
La qualité d’une réponse multimodale dépend d’abord de ce que vous envoyez. Les documentations des éditeurs donnent des conseils concrets, que l’on peut résumer en cinq réflexes valables sur la plupart des assistants.
Le premier est de soigner l’image. Google et Anthropic le disent tous deux : des images nettes, ni floues ni pixelisées, et correctement orientées. Si l’image contient un texte important, il doit être lisible. Une photo de plaque prise de biais, à contre-jour, avec un reflet, risque d’être mal lue.
Le deuxième est de cadrer sans couper. Recadrer sur la zone utile aide le modèle, mais Anthropic met en garde contre le recadrage qui retire le contexte visuel nécessaire dans le seul but d’agrandir un texte. Gardez assez de l’environnement pour que la pièce, l’écran ou le document restent identifiables.
Le troisième est de surveiller la compression. Une image fortement compressée en JPEG peut rendre un texte difficile à lire, prévient Anthropic, qui conseille de vérifier les images réellement envoyées. Les captures d’écran transmises par une messagerie ou réduites par un téléphone peuvent perdre leurs petits caractères.
Le quatrième est de nommer les images. Quand vous en envoyez plusieurs, introduisez chacune par une étiquette courte, « Image 1 », « Image 2 », pour pouvoir y renvoyer sans ambiguïté dans la question et les échanges suivants. C’est la recommandation d’Anthropic, et elle évite les confusions du type « sur la photo de gauche ».
Le cinquième est de ne pas chercher la formule magique. Sur l’ordre entre l’image et la question, les éditeurs se contredisent : Anthropic écrit que Claude fonctionne le mieux quand l’image vient avant le texte, Google recommande, pour une image unique, de placer la consigne avant l’image. Anthropic précise que les autres ordres fonctionnent aussi. Testez les deux. Ce qui compte davantage, c’est d’obliger le modèle à décrire avant d’interpréter, comme dans la consigne de la section précédente.
Pour les petits détails, sachez enfin qu’il existe souvent un réglage de résolution. Dans l’API Gemini, une résolution plus élevée améliore la lecture des textes fins et des petits détails, au prix de plus de tokens et d’une latence plus longue. Dans les assistants grand public, ce réglage n’est pas toujours visible : envoyer une image d’origine plutôt qu’une capture réduite va dans le même sens.
Une image ou un enregistrement contient souvent plus d’informations personnelles qu’un texte. Un visage, une plaque d’immatriculation, un badge, une voix. Trois règles s’appliquent.
La première relève du RGPD. Une photo où figurent des personnes identifiables est une donnée personnelle, et l’envoyer à un assistant en ligne est un traitement. La voix demande une attention particulière : la CNIL rappelle que la voix est une caractéristique biométrique qui peut permettre d’identifier une personne. Et selon la CNIL, les données biométriques traitées pour identifier une personne de manière unique font partie des données sensibles, dont le traitement est interdit sauf exceptions, comme le consentement exprès. Dès qu’un système sert à reconnaître qui parle, on entre dans ce régime. Avant d’enregistrer une réunion ou de photographier un atelier, posez-vous la question de l’information des personnes et de la durée de conservation.
La deuxième relève de l’AI Act. L’article 50 impose aux fournisseurs de marquer les contenus générés ou manipulés par IA, audio, image, vidéo ou texte, dans un format lisible par machine. Il impose aux déployeurs, c’est-à-dire aux entreprises qui utilisent ces outils, d’indiquer qu’un hypertrucage a été généré ou manipulé par une IA. La page de la Commission précise que cet article a été modifié par l’omnibus numérique de 2026 ; notre article sur l’article 50 de l’AI Act donne la rédaction et le calendrier en vigueur.
La troisième relève de la sécurité. La même technologie qui comprend une voix sait l’imiter. Les fraudes par voix ou vidéo synthétiques peuvent viser les services financiers et les dirigeants, et notre guide sur les deepfakes donne les réflexes de protection à mettre en place.
💡 À ne pas confondre avec un agent IA : un assistant multimodal regarde une image ou un écran et répond. Un agent qui regarde l’écran pour cliquer, remplir des formulaires et enchaîner des actions sans validation relève d’une autre logique, traitée dans notre formation aux agents IA.
Les tendances mesurées permettent quelques projections prudentes. Elles sont notre lecture, pas des prévisions de source.
La vidéo longue va devenir un matériau de travail ordinaire. Trois heures de vidéo dans une seule requête, c’est déjà une journée de formation, une réunion de direction, une inspection de chantier. L’écart avec l’humain sur la compréhension vidéo, environ huit points sur Video-MMMU, reste net ; sur les images fixes, l’AI Index le mesure désormais à 0,4 point sur MMMU.
La conversation en temps réel va s’installer sur le terrain. Une latence comparable au temps de réponse humain est déjà atteinte. Le frein n’est plus la technique mais l’organisation : qui a le droit de filmer, qu’est-ce qui est conservé, qui valide la réponse quand elle engage la sécurité.
Le monde physique reste la frontière. Lire une horloge, compter des pièces, localiser un défaut au millimètre : ces faiblesses touchent la compréhension de l’espace, et c’est précisément l’objet des modèles du monde que défend Yann LeCun, évoqués dans notre article sur l’AGI. Si ces approches tiennent leurs promesses, la multimodalité passera de la description à l’anticipation : non plus « que voit-on sur cette image ? », mais « que va-t-il se passer si je tourne cette vanne ? ».
C’est une IA capable de traiter plusieurs types de contenus, texte, image, audio et vidéo, en entrée comme en sortie, dans un même système. Les assistants grand public de 2026, comme ChatGPT, Gemini ou Claude, le sont tous à des degrés divers : ils comprennent les images, la plupart comprennent la voix, et certains comprennent la vidéo ou produisent des images.
Un générateur d’images est multimodal en sortie : il transforme un texte en image. Une IA multimodale au sens large comprend aussi des images, des sons ou des vidéos en entrée, et peut répondre à leur sujet. Les deux se rejoignent dans les assistants actuels, qui savent à la fois analyser une photo et en produire une.
En partie. Elle peut traiter de longues vidéos, jusqu’à trois heures pour certains modèles, en les découpant en images à raison d’une par seconde et en écoutant la bande son. Mais sur les tests qui mesurent la compréhension, comme Video-MMMU, aucun modèle n’atteint encore le niveau humain. Google prévient aussi que les actions rapides peuvent perdre du détail, à cause de cet échantillonnage.
Comme deuxième regard, oui. Comme contrôle unique, non. Les éditeurs eux-mêmes signalent que leurs modèles comptent de façon approximative, localisent mal les détails et se trompent sur les images de faible qualité. Un système de vision industrielle entraîné sur vos propres pièces, ou un contrôleur humain, reste nécessaire.
Pas de façon fiable. Anthropic écrit que Claude ne peut pas déterminer si une image a été générée par une IA et demande de ne pas compter sur lui pour cela. Le marquage imposé par l’article 50 de l’AI Act et les méthodes de vérification de la provenance sont des pistes plus solides qu’un avis d’assistant.
C’est possible, à condition d’informer les participants, de respecter le RGPD et de vérifier les conditions de l’outil utilisé, en particulier sur la conservation des enregistrements. Si l’outil identifie les intervenants par leur voix, la CNIL rappelle que la voix peut être une donnée biométrique, ce qui impose des précautions renforcées.
Les éditeurs ne sont pas d’accord. Anthropic écrit que Claude fonctionne le mieux quand l’image précède le texte, tout en précisant que les autres ordres fonctionnent aussi. Google recommande, pour une image unique, de placer la consigne avant l’image. En pratique, l’ordre compte moins que la qualité de l’image et la précision de la question. Si vous envoyez plusieurs images, numérotez-les.
L’IA multimodale a déplacé l’IA générative du clavier vers l’appareil photo, le micro et la caméra. Le changement est profond. Elle égale presque les meilleurs experts sur une figure scientifique, absorbe trois heures de vidéo et répond à la voix en un tiers de seconde. Elle peut aussi se tromper de trois heures sur un cadran, rater un geste bref et compter de travers. Les usages qui en tirent le meilleur sont ceux qui jouent sur ses forces, décrire, résumer, expliquer, et gardent un humain sur ses faiblesses, mesurer, compter, authentifier. Apprendre à faire la différence se travaille sur vos propres photos et vos propres enregistrements : c’est ce que propose notre formation à l’IA générative pour les équipes de terrain et de bureau.
Laisser un commentaire