Un aspect fondamental du rapport Villani : l'explicabilité de l’IA

Très attendu et rendu public le 28 mars 2018, le rapport Villani a fait l’objet d’une vague de discussions et de débats contradictoires. Cet engouement médiatique démontre que le sujet de l’intelligence artificielle interroge nos modèles de société et notre rapport à aux sciences. Nous avons tenu à réagir à froid et de manière réfléchie sur une thématique particulièrement sensible abordée dans ce rapport et qui nous a semblé pourtant au coeur du sujet : l’”Explicabilité” de l’intelligence artificielle.

“Une grande partie des considérations éthiques soulevées par l’IA tiennent à l’opacité de ces technologies. En dépit de leur performance accrue dans de nombreux domaines, de la traduction à la finance en passant par l’automobile, il est souvent très difficile d’expliquer leurs décisions de manière intelligible par le commun des mortels. C’est le fameux problème de la boîte noire”

Susciter la confiance par une meilleure transparence

La préoccupation de l’intelligibilité des sciences au sens large, et de l’”explicabilité” des IA en particulier (néologisme ayant de plus en plus force de loi), est grandissante. Le récent rapport intitulé La perception des risques. Un enjeu pour les sciences et les technologies, produit par G. Bronner et E. Klein pour l’Académie des Technologies et relayé notamment par P. Coquart, témoigne d’une perte de confiance grandissante en une science perçue comme compliquée d’accès et souffrant d’un manque dramatique de communication. Si rien n’est fait, cela ne risque pas de s’arranger lorsqu’on tentera d’introduire de l’IA dans un grand nombre de décisions impactant directement notre propre existence, même si ces échos alarmistes sont, pour certains auteurs comme O. Ezratty, à relativiser.

L’intelligence artificielle tend effectivement à s’imposer dans des processus de décision qui sont loin d’être anodins et qui reposaient hier principalement sur le savoir-faire humain: conduire, recruter, obtenir un crédit… En même temps que la société s’habitue à être constamment tributaire de l’intelligence artificielle (Le GPS, le moteur de recherche Google, les réseaux sociaux), l’incompréhension et la crainte grandissent face à des technologies dont on ne comprend pas le fonctionnement. Le besoin de transparence s’accroît encore suite au scandale de Cambridge Analytica et à l’émergence d’une voiture connectée qui suscite engouement, craintes et même fantasmes. La partie 5 du rapport Villani (p.140) traite de ce sujet sous l’angle toujours très complexe de l’éthique et pointe la responsabilité de ceux qui créent des modèles d’intelligence artificielle opaques. Comment interpréter un modèle ? Quelles données ont permi d’aboutir à un choix ? Quels biais moraux, quel impact sur la vie de celui qui subit la décision ?

De notre point du vue, “l’interprétabilité” (“Explicabilité” dans le rapport) est une propriété d’un traitement de données (ou d’une décision) – celle d’être plus ou moins compréhensible. Cette propriété nous paraît indispensable pour faciliter l’émergence de nouvelles modalités d’usage, et cela par un double effet.

Tout d’abord, on peut espérer que les avancées faites sur les questions d’interprétabilité iront nourrir le débat de la responsabilité juridique des acteurs qui conçoivent, fabriquent et maintiennent le système basé sur l’intelligence artificielle. Par ailleurs, c’est la question de l’acceptation sociale de telles technologies qui se pose. Car si l’humain accepte d’un autre humain des approximations cognitives et morales, il refuse à la machine d’appliquer rigoureusement des règles froides  incompréhensibles. Peu importe qu’une voiture connectée soit fiable à 99,999%, c’est le 0,001% restant qui concentrera l’attention et pour lequel des explications seront exigées. J’accepte éventuellement d’être sacrifié par un chauffeur pour sauver un enfant, mais sûrement pas sans savoir pourquoi.

Au delà de la confiance, l’interprétabilité pour une meilleure efficacité d’intégration entre intelligence artificielle et humains

Pour autant, l’enjeu de l’intelligibilité ne se joue pas exclusivement sur le terrain de la confiance et de l’éthique. Comme tout produit ou service, l’intelligence artificielle est le produit d’une chaîne de production qui implique, bien entendu, le consommateur final (citoyen, client..) mais également de multiples acteurs et intervenants : recherche et développement, modélisation, intégration dans les processus techniques et humains.

Au long de cette chaîne, rendre compréhensible la manière dont un modèle génère son résultat doit permettre de créer une charnière indispensable entre l’intelligence artificielle et les humains qui, in fine, prennent souvent les décisions. L’intelligence artificielle autonome qui prendrait des décisions majeures seules (on parle beaucoup aujourd’hui des armes létales autonomes) concerne une part certes importante de l’économie (voir le rapport du Conseil d’orientation pour l’emploi) mais un grand nombre de processus vont progressivement s’hybrider entre automatisation et décision humaine. Dans les secteurs de la banque et de la santé, cette tendance est même régie par des normes réglementaires particulièrement strictes pour des processus clés comme l’attribution de crédit ou le diagnostic médical, conformément à l’article 22 du futur RGPD (La personne concernée a le droit de ne pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé, y compris le profilage, produisant des effets juridiques la concernant ou l’affectant de manière significative de façon similaire).

Cette hybridation nécessitera que le pilote humain comprenne parfaitement les raisons pour lesquelles la machine recommande une action particulière. Imaginons un médecin utilisant un outil d’aide au diagnostic du mélanome ; il lui faudra comprendre quels paramètres ont pesé pour formuler un risque élevé. Est-ce la couleur, la taille, les contours de la tâche ? Et il faudra, bien entendu, que ces paramètres correspondent à des concepts compréhensibles, sans quoi l’exercice d’expertise ne sera pas ou peu facilité par l’outil.

La recherche d’intelligibilité devient là une source d’efficacité pour implémenter de l’intelligence artificielle au coeur de processus métier, en favorisant un dialogue entre l’homme et la machine. Elle doit également permettre aux data scientists d’évaluer les performances de leurs modèles et d’initier un nécessaire dialogue avec les experts métiers (médecins, banquiers, ouvriers..). Le phénomène boîte noire n’a pas que des impacts sur la confiance des utilisateurs finaux, il constitue un frein important à la compréhension des mécanismes à l’oeuvre pour prévoir un résultat et donc au développement de solutions d’intelligence artificielle qui s’enrichissent de l’expertise métier.

Des obstacles épistémologiques

De nombreux obstacles parsèment la route de l’intelligibilité. Le premier, et le plus immédiat, est le choix des outils permettant de produire une interprétation : par quels vecteurs de connaissance faut-il représenter cette connaissance à l’œuvre – celle qui est introduite dans un outil d’IA (les données, la connaissance experte) comme celle qui est inférée – ? Le choix d’un ou plusieurs termes, la formulation de définitions précises, la réfutation de concepts flous sont autant de difficultés à contourner. L’incertitude entourant l’usage de certains termes (l’interprétabilité est-il un concept similaire à l’intelligibilité ?) témoigne qu’une certaine culture épistémologique est à s’approprier, sinon à construire.

Un parallèle intéressant peut être établi avec la validation des grands outils de calcul dit « boîte noire », tels les codes numériques multi-physiques utilisés par les industriels pour simuler tout ou partie d’un phénomène coûteux à reproduire expérimentalement. Au sein de ce domaine d’ingénierie, la notion de « validation » est encore très largement débattue, en dépit des tentatives de guide normatif (tels le document VVUQ). L’origine de ces difficultés est liée au fait que  certains concepts fondamentaux de ce domaine, comme l’incertitude épistémique (c’est à dire l’incertitude résultant du manque de connaissance sur l’univers du problème), manquent encore cruellement d’une définition scientifique consensuelle au sens de Popper (par décision mutuelle des protagonistes).

Un second obstacle a trait aux représentations visuelles des connaissances utilisées et inférées, lorsque celles-ci sont définies par des données de grande dimension, hétérogènes (données numériques, images, texte…), non-stationnaires et arrivant possiblement en flux. Ces représentations se nourrissent de statistiques résumées, dont le caractère exhaustif doit être compréhensible et l’interprétation claire. Toutefois, la compréhension de résultats de projections dans des espaces réduits, de type t-SNE, implique un entraînement intellectuel important ;  outre accroître le nombre (pour l’instant très limité) de ces représentations, il semble nécessaire de pouvoir également automatiser la production de rapports circonstanciés les accompagnant, et décryptant les propriétés mises en avant. De nouveau, on se heurte à des problèmes de précision dans les étapes de justification permettant un audit des algorithmes : doit-on par exemple indiquer que les phénomènes de déformation des nuages de points (permettant de passer d’un espace de grande dimension à un espace de dimension représentable en 2D ou 3D) peuvent être expliqués par des méthodes à noyaux ; et dans ce cas, doit-on donner une explication “grand public” des principes de ces méthodes ? Doit-on expliquer que les résumés des caractéristiques géométriques (monotonie, convexité…) des phénomènes décrits par les données – des vecteurs forts d’intelligibilité de ces phénomènes – ont été produits par analyse topologique des données, alors que les utilisateurs lambda ne seront pas ou peu capables de comprendre les concepts mathématiques impliqués ? Doit-on, d’une manière générale (et quelque peu symétrique), adopter une démarche d’entraînement de l’utilisateur de l’interface visuelle d’une IA ?

D’autres obstacles épistémologiques importants se dressent sur la route de l’intelligibilité, et se greffent sur les problématiques évoquées ci-dessus : citons la séparation entre corrélation et causalité, la méta-modélisation de mécanismes exhibés empiriquement (par exemple via des méthodes LIME), la production de systèmes de règles “minimalement proches” d’un modèle de machine learning, la compréhension des analyses de sensibilité  faisant appel à des outils de théorie des jeux, la définition formelle de la fairness des algorithmes… Ce dernier point, par exemple, sous-entend-t-il que le périmètre d’une étude de cofacteurs ne doit pas être figé mais continuellement ré-interrogé (l’oubli d’un cofacteur – par manque de données par exemple – peut déséquilibrer les résultats de l’algorithme) ?

Notre conviction et nos avancées

En tant qu’acteurs de l’intelligence artificielle, porteurs d’enjeux de transformation de la société, et en tant que fournisseurs de services liés à l’usage “fair” d’intelligences artificielles variées, nous portons beaucoup d’attention à cette problématique de l’intelligibilité. Notre conviction est que le développement des IA est un processus partagé en permanence avec les futurs utilisateurs et prescripteurs. Pour cette raison, nous avons débuté des travaux de fond sur le sujet, de façon collaborative avec nos partenaires et clients (tel le développement conjoint du package Python skope-rules). Notre objectif scientifique est de sans cesse améliorer les liens entre requête épistémologique, théorie mathématique et application concrète.

Ces questions importantes continueront en effet d’être longuement débattues dans les années à venir au sein des communautés académique et métier de l’IA. En témoignent par exemple les deux journées organisées cette année par la Société Française de Statistique (SFdS). La première – à destination d’un public large – a eu lieu le 26 mars dernier. La seconde, plus technique, se tiendra à Paris le 18 mai prochain, juste avant la mise en application du Règlement général européen sur la protection des données (RGPD). Quantmetry y fera une intervention, au cours de laquelle sera discuté le choix de vocabulaire précis, apte à saisir et travailler cette problématique ; il s’agit bien avant tout de rendre intelligible la notion d’intelligibilité elle-même !