Cognitive bias

Du marketing grand public à la gestion de la main-d’œuvre, en passant par les solutions de décision en matière de traitement médical, de sécurité publique et de maintien de l’ordre, que vous en soyez conscient ou non, votre vie est de plus en plus affectée par les résultats des algorithmes d’apprentissage automatique. En effet, ces derniers prennent des décisions telles que l’attribution d’une prime ou d’un entretien d’embauche, l’augmentation ou non de la limite (ou des intérêts) de votre carte de crédit, ou encore l’admission à un essai clinique.

Par conséquent, la vie et les moyens de subsistance des gens sont affectés par des décisions prises par les machines.

Les biais cognitifs n’épargnent pas l’intelligence artificielle

Les algorithmes de machine learning sont construits à partir de données qui sont entraînées à faire des hypothèses par nature. Ainsi, lorsqu’il reçoit de nouvelles données d’entrée, un modèle de machine learning génère des valeurs basées sur un modèle d’apprentissage automatique formé. Cela signifie que les données dépendent entièrement de l’ensemble des données d’apprentissage fournies pour le scoring (que l’on appelle également prédiction). Si l’on n’y prête pas attention, les biais cognitifs courants dans la société se répercutent inévitablement sur les résultats. Des données d’apprentissage qui ne tiennent pas compte des différences de couleur de peau, d’orientation ou d’identité sexuelle, ou d’âge par exemple, peuvent avoir des conséquences très négatives sur la vie des gens.

Quelques exemples pour mieux comprendre leurs répercussions

Voici quelques exemples d’erreurs commises par les algorithmes d’apprentissage automatique et la façon dont les entreprises qui les ont créés ont réagi à ces constatations.

Dans un rapport de l’American Civil Liberty’s Union (ACLU) datant de juillet 2018, la technologie de reconnaissance faciale d’Amazon, appelée « Rekognition », a faussement associé 28 membres du Congrès à des photos d’arrestation. Ces membres étaient des républicains et des démocrates, des hommes et des femmes, et des législateurs de tous âges, habitant dans tout le pays. Les fausses correspondances concernaient de manière disproportionnée des personnes de couleur, alors que ces dernières ne représentent que 20 % des membres du Congrès. L’ACLU profite de l’occasion pour demander au Congrès un moratoire sur l’utilisation de la technologie de reconnaissance faciale dans l’application de la loi.

Autre exemple concernant l’API de langage naturel dans le cloud de Google, qui a été lancée en 2016. À l’automne 2017, Andrew Thompson de Motherboard a expérimenté le produit et a trouvé des biais inquiétants dans l’algorithme. Lorsqu’il lui a fourni l’énoncé « Je suis chrétien », le résultat était positif. Mais lorsqu’il a entré « Je suis juif » et « Je suis une femme noire gay », le résultat était négatif. Les analyseurs de sentiments sont généralement formés à partir d’articles de presse et de livres, entraînant ainsi des biais similaires à ceux que l’on peut trouver dans la société.
L’ancien responsable de l’intelligence artificielle de Google, John Giannandrea, a déclaré : « Il est important que nous soyons transparents quant aux données d’entraînement que nous utilisons et que nous recherchions des biais cachés, sinon nous construisons des systèmes biaisés ». Cependant, au moment de la rédaction de ce texte, Google a refusé de faire la lumière sur la manière dont l’API est entraînée.
Un porte-parole de Google a publié la déclaration suivante : « Nous consacrons beaucoup d’efforts à nous assurer que l’API NLP (Natural Language Processing) évite les biais, mais nous n’y parvenons pas toujours. Ceci est un exemple de l’une de ces fois, et nous sommes désolés. Nous prenons ce problème au sérieux et nous nous efforçons d’améliorer nos modèles. Nous corrigerons ce cas spécifique et, plus largement, la construction d’algorithmes plus inclusifs est cruciale pour faire profiter tout le monde des avantages de l’apprentissage automatique ».

La conséquence de toute cette presse négative concernant les lacunes de l’apprentissage automatique moderne est que le grand public est de plus en plus mal à l’aise à l’idée d’être le sujet des résultats. Nombreux sont ceux qui réclament une législation plus stricte pour s’assurer que leurs droits ne sont pas bafoués par les biais des algorithmes d’apprentissage automatique.