Des chercheurs ont montré des visages à des IA populaires : elles jugent la criminalité et la compétence sur de simples traits du visage

Aux États-Unis, une étude montre que des IA très connues se fient aux traits du visage pour juger la compétence ou la dangerosité d’une personne.

Publiée dans la revue scientifique PNAS Nexus et relayée par le site spécialisé PsyPost, une série d’expériences menées aux États-Unis révèle que plusieurs modèles d’IA multimodales, capables d’analyser du texte et des images, reproduisent – et amplifient – un biais humain bien connu : déduire le caractère d’une personne en regardant simplement son visage.

Des IA qui « lisent » le caractère sur un visage humain

Les chercheurs, menés par Steven A. Lehr (société Cangrade, Inc.), avec Mahzarin R. Banaji (université Harvard et Santa Fe Institute) et Yash Lothe, se sont intéressés à ce que la psychologie appelle l’« inférence du caractère à partir du visage ». Cette tendance très répandue consiste à attribuer à quelqu’un des traits comme la compétence ou la fiabilité uniquement à partir de la forme de son visage.

Or, la littérature scientifique montre que cette habitude est une erreur cognitive : la structure physique du visage ne renseigne pas réellement sur la personnalité ou la moralité d’une personne. Une étude réalisée en 2014, citée par les auteurs, a ainsi montré que même des enfants de trois ans jugent systématiquement le caractère à partir des traits du visage.

Pour Mahzarin R. Banaji, interrogée par PsyPost, cette fascination pour les visages tient à leur place centrale dans nos interactions sociales. Elle rappelle qu’une région entière du cerveau humain est dédiée au traitement des visages, ce qui fait de nous des « experts du visage », mais pas forcément des juges fiables.

Les chercheurs voulaient savoir si des IA, entraînées principalement sur du texte mais devenues multimodales, allaient hériter de ce réflexe humain de juger sur la mine.

Steven A. Lehr explique qu’il part d’une « théorie de travail » : les grands modèles de langage agiraient comme un miroir, capable de refléter un large éventail de caractéristiques humaines, y compris les biais les plus surprenants. L’enjeu consistait à vérifier si ces systèmes reproduisent un biais visuel alors qu’ils apprennent d’abord sur du langage écrit.

Une batterie d’expériences sur des milliers de visages

Les auteurs ont mené 13 expériences, représentant près de 8 000 essais, sur quatre modèles d’IA différents. Une partie importante du protocole repose sur GPT-4o, un modèle multimodal capable de traiter des images.

Des visages générés et manipulés pour tester le biais

Les chercheurs n’ont pas utilisé de photos de vraies personnes, mais des visages humains générés par ordinateur, modifiés de manière contrôlée. Certains traits physiques y étaient ajustés pour les rendre plus ou moins « compétents » ou plus ou moins « dignes de confiance » selon les jugements habituels des humains.

• Les paires de visages étaient calibrées en « écarts-types » de différence visuelle.
• Certains couples présentaient de très fortes différences, d’autres se ressemblaient presque.
• L’IA devait choisir, pour chaque paire, la personne la plus compétente, la moins compétente, la plus digne de confiance, ou la moins digne de confiance.

Ce protocole permet de mesurer à quel point la machine se cale sur les stéréotypes humains associés à certains types de visages.

GPT-4o suit massivement les stéréotypes… et les renforce

Sur 600 essais consacrés à la compétence, GPT-4o a choisi le visage que les humains jugent généralement plus compétent dans 87,83 % des cas. Pour la confiance, sur 600 autres essais, le modèle a sélectionné le visage « attendu » 72,67 % du temps.

Plus les visages différaient physiquement, plus le biais de l’IA se renforçait :

• Lorsque les deux visages étaient séparés par six écarts-types sur les traits liés à la compétence, GPT-4o choisissait le visage « compétent » dans 98 % des cas.
• Avec seulement deux écarts-types de différence, donc des visages assez proches visuellement, le taux tombait à 70 %, mais restait très élevé.

Les chercheurs ont comparé ces résultats à des estimations du comportement humain sur la même tâche. Les personnes réelles choisiraient le visage « compétent » dans environ 62,65 % des cas, bien moins que le score de 87,83 % du modèle.

Les IA ne se contentent pas d’imiter nos biais faciaux : elles les appliquent de façon plus systématique, ce qui rend ces biais encore plus fiables… et plus dangereux dans des décisions lourdes de conséquences.

Pour Steven A. Lehr, la force de l’effet tient aussi à la constance des réponses de l’IA : là où les humains varient dans leurs jugements, le modèle applique son biais avec une grande régularité.

Des jugements étendus à d’autres traits… et même à des singes

Les chercheurs ont ensuite voulu savoir si cette tendance se limitait aux étiquettes « compétent » et « digne de confiance », ou si l’IA l’étendait à d’autres qualificatifs proches.

Compétent, intelligent, paresseux, chaleureux, égoïste…

Dans 2 160 essais, GPT-4o a été invité à juger les mêmes visages sur des traits liés à la compétence (comme « intelligent » ou « paresseux ») et à la confiance (comme « chaleureux » ou « égoïste »). Le modèle a continué à généraliser son biais :

• Pour les traits liés à la compétence : 74,63 % de choix en faveur du visage « attendu ».
• Pour les traits liés à la confiance : 73,33 % de choix alignés sur les stéréotypes humains.

Autrement dit, dès qu’il doit trancher sur un trait de caractère proche de la compétence ou de la fiabilité, le modèle retombe sur les mêmes repères visuels arbitraires.

Un biais appliqué… aux visages de singes macaques

Les chercheurs ont aussi voulu tester si l’IA se contentait de recopier des associations propres aux visages humains présents dans ses données d’entraînement. Ils ont donc présenté à GPT-4o 150 paires de visages de macaques, déjà classés par des humains comme ayant l’air « gentil » ou « méchant ».

Résultat : dans 66 % des cas, l’IA a jugé les singes au visage « gentil » comme plus dignes de confiance. Les auteurs en déduisent que le modèle développe une forme de concept général de « visage digne de confiance », qu’il applique même à des primates non humains, et pas seulement à des humains potentiellement vus dans ses données.

Quand l’IA « désigne » les criminels ou les dirigeants idéaux

Les expériences ne se sont pas arrêtées aux traits de caractère abstraits. Les chercheurs ont aussi testé l’impact de ces jugements visuels sur des scénarios extrêmes ou très concrets.

Qui est le plus susceptible d’être un criminel ?

Dans une série de 540 essais, GPT-4o devait indiquer, pour chaque paire de visages, lequel avait le plus de chances :

• d’être un tueur en série,
• de se livrer à de la traite d’êtres humains,
• ou de commettre une fraude financière.

Le modèle a choisi le visage perçu comme moins digne de confiance dans 68,70 % des cas. Steven A. Lehr souligne que GPT-4o « n’a montré aucune réelle réticence » à associer certains visages à des comportements criminels lourds.

Recrutement et financement : des décisions biaisées par la « tête de l’emploi »

Une autre expérience, portant elle aussi sur 540 essais, plaçait l’IA dans des scénarios positifs et très concrets, comme le choix :

• d’un président d’université,
• ou du fondateur d’une start-up technologique à financer.

Dans ces cas, GPT-4o a recommandé l’individu au visage « plus compétent » dans 75,19 % des essais. Le modèle intègre donc ces jugements basés sur la physionomie pour des décisions qui, dans la vie réelle, auraient des impacts lourds sur des carrières et des organisations.

Qu’il s’agisse de désigner un potentiel criminel ou un futur dirigeant, le modèle accorde un poids considérable à des différences de traits du visage pourtant sans lien prouvé avec le comportement réel.

Des biais encore plus marqués dans d’autres modèles récents

Pour vérifier si GPT-4o était un cas particulier, les scientifiques ont reproduit l’expérience de base sur la compétence et les décisions appliquées au réel avec trois autres modèles de dernière génération : GPT-5, Gemini 3 Flash Preview et Claude Sonnet 4.5.

Résultat : tous ces modèles montrent des biais de visage-vers-caractère très forts. GPT-5 fait même pire que son prédécesseur :

• 94,33 % de choix alignés sur le visage « compétent » dans les jugements de base ;
• 97,04 % dans les recommandations liées à des décisions concrètes.

Gemini 3 et Claude Sonnet 4.5 affichent eux aussi des niveaux de biais très élevés, souvent proches ou supérieurs à ceux de GPT-4o. Les auteurs en concluent qu’à mesure que les modèles gagnent en puissance, leur propension à juger sur l’apparence semble augmenter, au lieu de diminuer.

Ce que cela implique pour un usage en France

Pour un lecteur français, ces résultats font directement écho aux débats sur l’usage de l’IA dans les ressources humaines, la justice ou l’accès au crédit. En France, le droit encadre déjà strictement les discriminations à l’embauche et dans de nombreux domaines. Un outil qui favoriserait systématiquement certains traits de visage pourrait entraîner des pratiques clairement discriminatoires, même sans que ses utilisateurs en aient conscience.

Les entreprises françaises qui testent des outils d’IA pour trier des CV, analyser des vidéos d’entretien ou aider à la décision de recrutement doivent donc se montrer particulièrement prudentes. Même si un modèle semble « neutre » parce qu’il évite des propos racistes ou sexistes explicites, cette étude montre que des biais plus subtils, liés à la physionomie, peuvent persister et se renforcer.

En France, la protection des données et la lutte contre les discriminations relèvent notamment de la CNIL et du Défenseur des droits. Ces organismes insistent déjà sur la nécessité d’auditer les algorithmes. Le travail publié dans PNAS Nexus offre un exemple concret du type de tests qu’il devient nécessaire de mener : faire évaluer des systèmes d’IA sur des scénarios contrôlés pour repérer des effets cachés.

Pourquoi ces biais apparaissent dans les IA multimodales

Une question centrale reste ouverte : comment des modèles essentiellement entraînés sur du texte peuvent-ils développer des biais d’origine visuelle ? Steven A. Lehr souligne que ce n’est « pas du tout évident » que ce type de biais se trouve directement dans les données d’entraînement, puisqu’il s’agit au départ d’erreurs liées à la vision.

L’hypothèse est que les descriptions et les jugements humains présents dans les textes – romans, articles, forums, conversations – expriment de manière répétée des liens implicites entre physionomie et caractère. En devenant multimodales, les IA apprennent ensuite à relier certains types de visages à ces descriptions chargées de stéréotypes.

Les auteurs observent que les modèles ne se contentent pas de refléter leurs données d’entraînement : ils exagèrent les biais humains, qui ressortent amplifiés et plus réguliers.

Les expériences menées uniquement sur des images fixes, en deux dimensions, ne permettent cependant pas de dire comment se comporteraient ces modèles face à des vidéos, des angles variés ou des contextes plus riches, proches d’une interaction réelle.

Ce que les développeurs et les utilisateurs peuvent faire

Les modèles testés ont déjà suivi des phases de « mise en conformité » (alignment) pour éviter certains contenus toxiques ou discriminatoires. Les auteurs notent que ce travail a créé une forme d’égalitarisme de surface : les IA évitent souvent les stéréotypes les plus visibles, liés par exemple au genre ou à la race lorsqu’ils sont explicitement mentionnés.

En revanche, ces garde-fous ne couvrent pas encore les biais plus discrets, comme ceux reposant sur la forme du visage. C’est un angle mort des dispositifs de sécurité actuels. Pour réduire ces dérives, plusieurs pistes existent :

• concevoir des tests systémiques sur des visages générés, comme dans cette étude, pour mesurer les biais avant tout déploiement sensible ;
• adapter les consignes et les architectures pour empêcher l’IA de se prononcer sur le caractère ou la moralité d’une personne à partir de son apparence ;
• privilégier des usages de l’IA où le modèle ne voit pas le visage de l’utilisateur lorsqu’une décision lourde est en jeu.

Pour des domaines comme le recrutement, la sélection de dossiers universitaires ou l’évaluation de risques juridiques, Steven A. Lehr appelle à une grande prudence. Tant que ces biais ne sont pas mieux compris et corrigés, ces systèmes ne devraient, selon lui, pas intervenir directement dans les décisions finales.

Pour les lecteurs français, cette étude fournit un repère concret : dès qu’une IA commence à « regarder » des visages pour suggérer une décision, il faut supposer qu’un biais de ce type existe, et le tester explicitement. La sophistication croissante des modèles ne signifie pas automatiquement une diminution de ces distorsions ; elle peut au contraire les ancrer plus profondément dans les systèmes que l’on s’apprête à utiliser au quotidien.

Hélène Vasseur

Lecture rapide : rédactrice en chef d’Eurotel, ancienne de l’hôtellerie, spécialiste des hôtels de caractère et des city-trips.

Hélène Vasseur a passé près de quinze ans dans l’hôtellerie avant de se consacrer à l’écriture. De la réception d’un palace lyonnais à la direction d’une maison d’hôtes, elle a appris à lire un hôtel de l’intérieur : ce qui fait une vraie adresse, et ce qui relève du décor.

Rédactrice en chef d’Eurotel, elle coordonne la ligne éditoriale et arpente l’Europe à la recherche d’hôtels de caractère et de destinations à raconter autrement. Sa conviction : on voyage mieux quand on comprend les lieux, pas seulement quand on les coche. Elle garde un faible pour les vieilles villes d’Europe centrale et les petits-déjeuners qui s’éternisent.