Biais de l’IA : comment les détecter, les comprendre… et (enfin) agir !
En 2020, aux Etats-Unis, plusieurs femmes se sont vues refuser des crédits ou obtenir des montants moins élevés que leurs conjoints pour une seule raison. C’est l’affaire AppleCard / Goldman Sachs. En fait, un algorithme IA qui sans jamais demander le genre, avait intégré des années de discrimination passées dans ses calculs. Les hommes obtenaient des propositions de financement 20 à 30 fois supérieures à celles de leurs conjointes. La banque n’a pas su expliquer pourquoi. (1)
Plus récemment, en décembre 2023, la Cour de Justice Européenne acte que le scoring automatique de la banque SCHUFA est entièrement automatisé (2).
Du coup la décision d’attribuer un crédit bancaire, et surtout l’excès de confiance accordée à la décision de l’IA, fait que certaines catégories sous-représentées et/ou stigmatisées sur le terrain d'entraînement des IA, sont maltraitées.
Bref, c’est le cas des indépendants ou des habitants de quartier dits sensibles, qui se voient refuser le crédit, alors que le dossier donne les mêmes garanties à iso périmètre que celui d’un dossier équivalent, contenant des attributs légèrement différents en termes de groupe d’appartenance.
Autrement dit, tu vis à Vaux en Velin, tu es indépendant, solopreneur, femme. As-tu les mêmes chances d’obtenir le crédit auto ou immobilier que celui qui vit en centre-ville de Lyon ?
Bienvenue dans l’épisode 5 de mon Podcast “Mais qu’est ce qu’on va devenir”. Aujourd’hui, on s’attaque aux biais de représentation chez les IA et leurs conséquences.
Mais surtout, comment on va éviter tout ça avec des techniques de prompt et plus largement d’usage des IA pour faire en sorte de ne pas reproduire l'inégalité salariale persistante entre les hommes et les femmes depuis des décennies et qui a certainement biaisé l’IA de bien mauvaises analyses.
Alors, on met notre cape de justicier social et on embarque maintenant…
-----------
Voilà, le décor est planté : dans la banque, mais aussi dans le recrutement, la santé ou la justice, dès qu’une IA a une mauvaise vision de ton profil… elle peut te fermer toutes les portes, ou a minima pas les entrouvrir en grand, sans que personne ne comprenne pourquoi. Ce n’est plus seulement un sujet de data, c’est une question d’équité sociale.
Alors on fait quoi ? On subit. Je pense que si tu écoutes ce podcast, c’est parce que tu as envie de militer pour un monde plus juste. Bref, on baisse pas les bras, on lâche rien.
Aujourd’hui, l’Europe impose de nouvelles règles du jeu avec l’IA Act. On en a parlé dans un podcast précédent. A croire que c’est un sujet qui me taraude. Et bien oui, et quand je donne des formations à l’IA ou au NoCode, tout comme je m’engage pour la souveraineté des données, j’insiste sur le fait d’aller chercher la représentativité pour prendre tes décisions basées sur de la prédiction.
Parce qu’avant tu prenais tes décisions basées sur de la connaissance. La posture est quand même sacrément différente, je crois.Donc, audits, supervision humaine obligatoire, documentation et tests de biais systématiques font partie des obligations morales et des responsabilités juridiques de toute entreprise, que tu sois à la tête d’une GAFAM, d’une administration, d’une PME industrielle de la vallée de l’Arve ou du Cotentin, ou tout comme moi entrepreneur dans le NoCode et l’IA.
C’est donc fini, l’opacité absolue sur les modèles de scoring : on va devoir expliquer chaque critère, chaque exclusion – et prouver qu’il n’y a pas de discrimination cachée dans le code.
Et.. c’est pas gagné, je crois.
En plus, ce n’est pas qu’une affaire de régulation. À notre niveau, que tu sois développeur, manager, ou simple citoyen, tu peux agir : demander de la transparence, exiger des audits, contribuer à des jeux de données plus variés, refuser les “boîtes noires” quand il s’agit de ta vie ou de ton avenir.
Dans la suite de ce podcast, on va voir comment :
détecter concrètement ces biais avec des outils open source comme AI Fairness 360,
diversifier enfin les équipes IA pour casser les routines inconscientes,
et mettre en œuvre, au quotidien, quelques techniques simples pour que nos outils – et nos décisions – deviennent vraiment inclusifs et justes.
Allez on attaque, et cette fois c’est nous qui prédisons la suite !
-----------
À l’été 2025, la CNIL a renforcé contrôles et obligations sur l’audit des biais dans la santé et la MedTech, la video surveillance, le travail et a annoncé avoir sanctionné plusieurs acteurs pour absence de conformité… sans publier de noms, la procédure restant simplifiée ou confidentielle.
Pour revenir au sujet, définissons d’abord ce qu’est un biais. Ca me paraît être une bonne base pour un bon départ.
Dans le Larousse, le biais est un nom masculin qui designe toute Distorsion, déformation systématique d’un échantillon statistique choisi par un procédé défectueux, ou d’une évaluation.
Pour wikipédia,enn statistique, un biais est un écart entre la vraie valeur d’une variable inobservable et la valeur estimée statistiquement ou économétriquement ; en méthodologie scientifique, un biais est une erreur dans la méthode, le non-respect des règles de protocole, qui engendre des résultats erronés. C’est une des formes du biais cognitif.
Voilà, je crois qu’on est sur la bonne piste.Je vais prendre d’abord un exemple visuel. Car j’aime bien quand je donne des formations, proposer des exemples visuels. Ca permet de mieux se projeter et de désacraliser le jargon.
Donc, appliquons au foot, au basket ou au hand. 3 jeux collectifs qui expriment bien le collectif IA - humain que je veux montrer là maintenant.
Donc, si le terrain de jeu est bosselé, si les limites du terrain sont mal dessinées, si la majorité des joueurs qui sont dessus sont tous des potes qui ont l'habitude de jouer entre eux, la balle risque de prendre des trajectoires différentes de celles qui seraient normalement attendues. Et le résultat, le score final de la partie risque de ne pas refléter la réalité.
Bon, bref, c’est la même chose avec l’IA. Car on se rappelle, et si on ne se rappelle pas, on intègre le fait que l’IA à la base, est un grand enfant qui apprend sur des terrains de jeux (sa base de connaissances) qui lui sont fournis par les humains. Et si l’IA a accès à des données imparfaites, car tout commence par les données, donc des biais de l’histoire, des catégories sous ou sur représentées dans les modèles de prédiction, des comportements biaisés, et bien tout ça fait qu’elle va elle mêm prédire des résultats déjà faussés. Et si on s’intéresse à des sujets critiques comme l’emplo ou l’accès au crédit par exemple, et bien ça va donner des injustices sociales flagrantes.
Je te donne un exemple : dans le recrutement, si la base d’apprentissage est composée à 80 % de CV d’hommes, l’IA va, inconsciemment, privilégier ce profil. Même chose pour les minorités, pour les quartiers, pour les situations professionnelles dites “atypiques”.
Donc, En gros, un biais c’est une erreur systématique, une déformation du réel dans la manière dont un algorithme apprend ou prend sa décision. Ça se glisse partout — dans les données, dans le code ou… dans la façon dont on pose la question.
Maintenant qu’on a défini le biais, amusons-nous à lister les types de biais qu’il faut surveiller quand on analyse les résultats produits par l’IA. Enfin, je ne sais pas pour toi, mais moi je trouve que c’est amusant. Et puis on est sur un terrain de jeu, quand même !
-----------
On commence avec le biais de sélection.
Par exemple, dans le RH, si tu travailles avec une IA dont le dataset sur représente les hommes. Et bien tu obtiens des résultats biaisés. Amuse toi par exemple à prompter un chatbot “conseille moi des modèles de rôle en informatique. regarde ce qu’il te propose. Si ta liste contient uniquement ou quasiment uniquement des hommes, tu peux être sûr que le dataset d’origine manque de diversité. Et donc ça laisse pas de place à la diversité, ça conduit même à une uniformisation de la pensée, je crois.
Ensuite il y a le biais d’entraînement. C’est quand le modèle s’entraine à partir de contexte américains ou chinois. Culturellement, ce n’est pas tout à fait le même contexte en Afrique, en Amérique du Sud ou en Europe. Et encore, je ne parle même pas des disparités locales.
On retrouve ça assez fréquemment avec les outils qui te proposent l’analyse de sentiment. Et encore, ce critère ne doit même pas être utilisé en Europe, car le RGPD veille à ce que ce ne soit pas un critère de prise de décision. Et je trouve ça juste normal.
Tu a aussi le biais d’observation. Alors celui-là est pas mal. En fait les prédictions de l’IA sont basées sur l'occurrence. Donc plus la caractéristique ou le comportement est présent dans un dataset, plus il sortira. C’est l’algo des réseaux sociaux, des plateformes sociales ou des réponses aux questions posées dans la fenêtre de contexte de l’IA. Tu sais le truc communément accepté qui dit qu’on classe mieux ce qui laisse le plus de trace numérique. Quitte à ce que les traces elles-mêmes soient pourries. Donc, j'écoutais récemment le directeur de la BPI dire que nous autres entrepreneurs devront prendre la parole sur des réseaux comme TikTok en utilisant les codes d’aujourd’hui pour faire face aux ennemis de nos économies qui veulent tout saboter. C’est exactement ça. Laisser des traces, augmenter les traces de ses passages, Et comme il disait aussi avoir discuté avec une personne qui fait des “porn” madeleines, c’est quoi des porn madeleines ? En gros des madeleines énormes dégoulinant de chocolat,
Faudrait aussi qu’on communique comme ça ? Pour finalement ingurgiter dans les datasets du porn à tous les étages ? Donc moi je vais faire du “porn”podcast ? Ben non, je crois pas.Je crois plutôt qu’il faut faire tourner plusieurs agents Ia coordonnés par un agent central pour avoir une diversité de réponses basées sur l'observation. C’est juste, fair, éthique et sincère pour moi. En tout cas, c’est ce que j’apprends à faire quand je fais une formation à la création d’agents IA
Allez je poursuis, parce que des biais, il y en a plein d’autres
Prenons le biais d’attribution. Alors celui-là il est pas mal relié au scoring bancaire. tu sais quand l’IA prend justement la décision de t’accorder ou pas un prêt pour l’achat de ton logement. C’est l’algo qui va exagérer certaines caractéristiques corrélées à ta situation. Tu vis dans un quartier compliqué, avec un taux de chômage élevé, un nombre de bénéficiaires des aides sociales importants. Donc pour lui, tu es dans la zone rouge, red flag, et il va prédire que tu vas pas pouvoir rembourser les échéances. Alors, c’est sûr, la banque te connaît pas quand tu lui demandes de te prêter de l’argent. Et si elle se range uniquement sur l’avis de l’IA, elle ne saura jamais que tu es un entrepreneur actif, depuis 2019, que tu as 5 ans de bilans, que tu fais travailler 2 salariés. Et que tu paies tes factures d’électricité et de téléphonie rubus sur l’ongle depuis 20 ans.
Le biais de confirmation. C’est quoi celui-là ? C’est quand l’Ia renforce ce que le dataset initial ou elle s’entraine lui a appris. Grosso modo, elle ajoute au dataset ses propres prédictions, c’est l’effet boule de neige. Et ça finit par une avalanche de prédictions futures encore plus biaisées. POur visualiser, prends un marqueur noir, tire une ligne sur ta feuiile a4, puis repasse dessus encore et encore, en débordant légèrment du trait précédent à chaque fois; A la fin, tua s une feuille toute noire. Et là encore, je viens moi même de produire un biais cognitif en choisissant la couleur noire. On associe toujours le noir au négatif (broyer du noir par exemple). lors que noir c’est “beautiful”. Allez on la refait, prends un marqueur vert et tu auras le même résultat 🙂
J’ai liste encore 4 autres biais qui me viennent à l’esprit.
Le bais algorithmique ou le pipeline. Là c'est plutôt la manière d’aller construire la prédiction et non le dataset initial qui porte à biaiser la réponse. C’est le code que tu écris, le prompt biaisé par tes propres biais que tu injectes, le mode de raisonnement que tu déclenches.
Par exemple, tu dev une IA et tu joues sur ton code en donnant à l’IA 10 points de bonus si la formation NoCode vient d’école reconnues ou qui laisse des traces numériques en nombre sur les réseaux. Et bien ton IA rejettera tous les profils autodidactes, les écoles moins visibles comme la nôtre inpulp.tech, alors que nous avons des compétences solides en pédagogie active et en savoir-faire de programmation. Mais le biais n’est pas dans les données, mais dans le scoring que tu as codé.
Le biais d'exclusion, c’est en gros quand le profil est tout simplement absent de la base, donc exclu de toute décision.
L'interprétation biaisée qui repose sur une analyse des liens proposées par l’IA sans challenger le contexte ou le métier.
Par exemple, je me suis amusé à promoter avec Gemini : Quel métier proposer à une femme dans la finance ?
Alors c’est vrai que j’ai obtenu des résultats en lien, comme Conseillère en gestion de patrimoine ou Gérante de portefeuille ou auditrice interne ou comptable. Mais quand l’ai prompté “quels sont les métiers de la finance ?” j’ai aussi obtenu Trésorier, DAF, Trader, Banquier d’investissement. A croire que les femmes se cantonnent à un rôle de comptable, de chargée d'affaires voire d’analyste. Mais n’ont pas les capacités à diriger ou à réaliser des opérations financières. Et de toucher les salaires qui vont avec.
Et enfin le biais de mesure, quand c’est l’humain qui note à la main au départ du processus de requête et donc introduit un élément subjectif par défaut. Nous sommes tous des sujets n’est ce pas !
Je te donne un exemple, essaie de faire annoter 100 CV par différentes personnes pour le critère “motivation du candidat”. Tu obtiendras 100 appréciations individuelles différentes. Si tu entraînes l’IA sur ce dataset, tu reproduiras l’arbitrage humain de départ.
-----------
Parfait, maintenant qu’on sait, comment on va appliquer tout ça, qu’on soit simple utilisateur ou chef de projet ou développeur NoCode / LowCode pour à la fois garantir des réponses exploitables sans biais et s’aligner avec les exigences de l’Ia acti qu’on a déjà vues
Alors même si mon podcast s’adresse aussi aux data scientists qui bossent chez Google, car je ne veux pas biaiser mon audience, smile, pour autant je ne suis pas sûr qu’il m’écoutent en ce moment.
Pour autant, je vais essayer de vous donner une méthodologie applicable qui vous aider dans la production des prédictions des agents et qui vous confère une posture dans votre entreprise ou chez vos clients par rapport au Shadow IA / Shadow IT . Donc à vos stylos.
Tout d’abord,il faut savoir de quoi on parle. Et pour savoir, il faut être capable de tracer. Donc demande systématiquement “sur quoi cette IA a-t-elle été entrainée ?”
Si tu es salarié(e) adresse ta question au chef de produit ou de projet, à la personne référente du RGPD de la boîte ou à la DSI / Innovation quand ces départements existent.
Si tu es indépendant / freelance, agence, adresse le support technique ou directement le fournisseur avec une question toute simple : pouvez-vous me fournir les caractéristiques du dataset d’entraînement, ou une documentation sur les biais audités ?
Si tu fais de la formation ou pilote un projet tech/NoCode : Demande aux éditeurs de ta plateforme, ou sans détours à la communauté/forum officiel de l’outil (“Quelles sont vos mesures sur les biais IA ?
En tant qu’usager ou citoyen : Demande, par mail ou via les formulaires de contact, un extrait de la politique d’IA du service en ligne – c’est un droit, pas un luxe.
Et voici un message tout simple à passer qui contient toutes tes interrogations
Bonjour, pouvez-vous me préciser :
– Sur quelles données votre IA ou votre modèle a-t-il été entraîné ?
– Procédez-vous à des audits de biais ? Si oui, sur quels critères ?
– Qui assure le contrôle humain de vos décisions automatisées ?
La qualité de la réponse te donnera l'envie de poursuivre ton utilisation de l’IA que tu interroges (ou pas).
Une fois que tu as tes réponses, compile tout ça dans une fiche d’audit ou d’identité des datasets. tu peux la structurer avec des sections claires comme qui a validé quoi ? Sur quelles populations / tests. Avec quels résultats d’équité (fairness).
Ensuite, deuxième étape, tu vas diversifier les regards et les retours. Donc là tu réunis toutes les parties prenantes au projet IA, les tech, le métier, les usagers pour avoir des points de vues différents et détecter des réticences éventuelles de certaines équipes à l’embarquement de l’IA.
Mets en place des formations internes pour faire tester le bot et obtenir les réactions que tu pourras consigner dans un grand livre
Alors ici c’est pile poil mon périmètre, et je peux t’aider à mettre en place ces formations.
Troisième temps, on va outiller l’audit. Ou plutôt ce stade ce sont les datas scientists qui vont auditer. Car les outils sont accessibles majoritairement en open source, aux tech qui ont des compétences en programmation Python.
Comment faire ça ? Tu peux utiliser des outils sur étagères comme AI Fairness 360 (open source), Fairlearn de Microsoft également en open source What If Tool de Google par exemple.
AI Fairness 360 est un outil que Microsoft à transféré à la fondation LF AI en juillet 2020. C’est une boîte à outil pour examiner, signaler et attenuer la discrimination et les biais dans les modèle de machine learning tout au long du cycle de vie des applcations IA. Alors oui, il faut avoir des compétences en Python ou en R pour faire tourner l’application, mais ça se trouve. Ca va bien aider à rendre les productions plus éthiques et plus inclusives des IA utilisées dans la Santé, les RH, l’éducation.
On a aussi Fairlearn qui est un projet open source, animé par la communauté, et qui aide les data scientists à améliorer l’équité des systèmes d’IA. avec des cas d'usages, des guides.
Une très bonne ressource utile pour votre posture est proposée par la CNIL sous formes d’actu et de checklists a suivre. Je donne le lien pour celles et ceux qui voudront retrouver la version écrite de mon podcast dans le blog d’InPulp Académie NoCode et IA. Sinon, il suffit de se connecter à https://www.cnil.fr/fr/intelligence-artificielle
Et si tu fais du NoCode ?Il y a de plus en plus de plateformes qui proposent des modules Audit Fairness. Il faut également ici pas hésiter à questionner l’éditeur ou à rechercher le module correspondant comme dans Make par exemple. Avec Make tu ferais pas un audit math/stat comme un Data Scientist mais tu pourras générer des résultats par profil (sexe/ville/âge par exemple) pour voir sur le ton, la réponse ou l’issue d’un modèle d’iA que tu testes est homogène ou produis des écarts types conséquents.
Si tu veux un conseil, passe 1 h par mois à auditer tes processus ou des décisions clés avec l’un de ces outils, même en mode bac à sable et documente tes résultats. Avec une documentation compréhensive de tes travaux sur la réduction des biais des IA utilisés en entreprise, tu vas assurer à celle-ci des performances bien meilleures pour ses prises de décision et une assise morale et éthique complètement en lien avec sa politique RSE et ses fondements.
Bref : l’audit IA, c’est plus une compétence de demain, c’est déjà une compétence de 2025. Va voir, manipule, compare… et parles-en autour de toi. Et si tu découvres ou utilises d’autres outils, viens les partager avec la communauté inpulp.tech pour nourrir le collectif ! Je donne le lien de notre site en commentaire.
-----------
Bon va pas se quitter sans une note positive. Là, je parle de LinkedIn qui en 2024 a introduit une nouvelle fonctionnalité de recherche d’emploi basée sur l’intelligence artificielle générative. Ce moteur, capable d'interpréter les attentes des candidats de façon plus fluide, a été très clairement conçu pour réduire les biais algorithmiques dans les suggestions d’offres et la présélection.
Grâce aux audits d’équité internes et à l’intégration de techniques de fairness issues de travaux comme Fairlearn ou AI Fairness 360, la plateforme a pu constater, chiffres à l’appui, une augmentation de 30 % du taux de découverte d’offres alternatives – en particulier chez des profils jusque-là “atypiques” ou en reconversion, souvent écartés par les anciens modèles classiques. Ben voilà, quand on veut, on peut…
On se quitte avec un miniquiz en 3 questions.
Question 1
Vrai ou faux ?
« L’IA ne peut pas être biaisée si elle ne connaît pas le genre ou l’origine d’un candidat dans les données. »
(Réponse : Faux ! Des biais peuvent apparaître via des “proxys” – adresse, métier, parcours – même sans information explicite.)
Question 2
Parmi ces méthodes, laquelle n’est PAS une façon de détecter un biais dans un modèle IA ?
A. Comparer les résultats sur plusieurs profils identiques à 1 critère près
B. Consulter les statistiques globales du modèle
C. Multiplier les tests en changeant une variable sensible (âge, genre, localisation)
(Réponse : B – Les seules statistiques globales ne révèlent pas toujours les biais cachés.)
Question 3
Dernière : Si je veux agir dès demain pour plus d’équité dans mon workflow IA ou NoCode, quelle est la première chose à faire ?
A. Demander la fiche “identité” du dataset ou du modèle
B. Changer d’outil sans vérifier
C. Attendre qu’un scandale éclate
(Réponse : A – Demander la traçabilité et la transparence, c’est LA base de l’audit !)Et pour les réponses, soit encore une fois en retrouvant la transcription de mon podcast sur le site inpulp.tech, soit en nous rejoignant sur Skool (lien sur le site) et on en en parle ensemble et on interagit avec la communauté bienveillante.
Passe une bonne semaine et la suite au prochain numéro.
-----------
Sources
- New York State Department of Financial Services [NYSDFS], communiqué officiel (mars 2021) - fichier à télécharger
- Laboratoire d’innovation numérique de la Cnil - Croire ou douter, la question des biais de confiance dans les IA - Dossier à consulter
- Checklists et guides IA de la CNIL - Ressource CNIL
- Vers un recrutement augmenté : LinkedIn dévoile un moteur de recherche dopé à l’Intelligence Artificielle - Article AIvancity