Rechercher un rapport, une publication, un expert...
Rapport
MARS 2020

Algorithmes :
contrôle des biais S.V.P.

Technologies
PARTAGER
<p><strong>Algorithmes : </strong><br /> contrôle des biais S.V.P.</p>
Auteurs
Tanya Perelmuter
Tanya Perelmuter
Directrice de la stratégie et des partenariats de la Fondation Abeona

Tanya Perelmuter is a co-founder and director of strategy and partnerships at Fondation Abeona. She previously headed partnerships at Software Heritage, and before that at Riskdata, a fin-tech platform.

Tanya is an expert in data-centric technologies, with a particular interest in risks and opportunities created by innovation in artificial intelligence.

She is rapporteure-generale of Institut Montaigne's report Algorithms: Please Mind the Bias!and a member of the scientific committee of Destination AI.

Tanya holds an engineering degree from Columbia University, and a certification in data science from École Polytechnique.

Groupe de travail

Les opinions exprimées dans ce rapport n’engagent ni ces personnes ni les institutions dont elles sont membres.

Présidents du groupe de travail

  • Anne Bouverot, présidente du conseil d'administration de Technicolor et présidente, Fondation Abeona (co-présidente)
  • Thierry Delaporte, directeur général adjoint, Capgemini (co-président)

Rapporteurs

  • Arno Amabile, ingénieur, Corps des Mines (rapporteur)
  • Théophile Lenoir, responsable du programme Numérique, Institut Montaigne
  • Tanya Perelmuter, directrice de stratégie et partenariats, Fondation Abeona
  • (rapporteure générale)
  • Basile Thodoroff, ingénieur, Corps des Mines (rapporteur)

Membres du groupe de travail

  • Gilles Babinet, conseiller numérique, Institut Montaigne
  • Ingrid Bianchi, fondatrice / directrice, Diversity Source Manager
  • David Bounie, directeur du département sciences économiques et sociales, Télécom Paris
  • Dominique Cardon, directeur, Médialab de Sciences Po
  • Anna Choury, Advanced Data Analytics Manager, Airbus
  • Stephan Clémençon, enseignant-chercheur, Télécom Paris
  • Marcin Detyniecki, Head of Research and Development & Group Chief Data Scientist, AXA
  • Dominique Latourelle, Head of RTB, iProspect
  • Sébastien Massart, directeur de la stratégie, Dassault Systèmes
  • Bernard Ourghanlian, Chief Technology Officer and Chief Security Officer, Microsoft France
  • Guillemette Picard, Chief Health Officer, Nabla
  • Christian de Sainte Marie, directeur du centre des études avancées, IBM France
  • François Sillion, Director, Advanced Technologies Center Paris, Uber
  • Serge Uzan, vice-président, Conseil national de l'ordre des médecins

Ainsi que :

  • Joan Elbaz, assistante chargée d’études, Institut Montaigne
  • Margaux Tellier, assistante chargée d’études, Institut Montaigne
  • Julie Van Muylders, assistante chargée d’études, Institut Montaigne
Personnes auditionnées

Les opinions exprimées dans ce rapport n’engagent ni ces personnes ni les institutions dont elles sont membres.

  • Éric Adrian, directeur général, UiPath France
  • Prabhat Agarwal, Deputy Head of Unit E-Commerce and Platforms, DG Connect, European Commission
  • Sacha Alanoca, Senior AI Policy Researcher & Head of Community Development, The Future Society
  • Christine Bargain, directrice RSE de 2011 à 2018, Groupe La Poste
  • Marie Beaurepaire, cheffe de projets, Afmd
  • Bertrand Braunschweig, directeur de coordination du programme national de recherche en intelligence artificielle
  • Alexandre Briot, Artificial Intelligence Team Leader, Valeo
  • Clément Calauzènes, Senior Staff Research Lead, Criteo AI Lab
  • Laurent Cervoni, directeur intelligence artificielle, Talan
  • Florence Chafiol, avocate associée, August Debouzy
  • Guillaume Chaslot, Mozilla Fellow et fondateur, Algotransparency
  • Raja Chatila, professeur d'intelligence artificielle, de robotique et d’éthique et membre du groupe d'experts de haut niveau sur l'intelligence artificielle, Commission européenne
  • Bertrand Cocagne, directeur innovation & technologies Lending & Leasing, Linedata Services
  • Guillaume De Saint Marc, Senior Director, Chief Technology and Architecture Office, Cisco
  • Marie-Laure Denis, présidente, CNIL
  • Christel Fiorina, coordonnatrice du volet économique de la stratégie nationale IA, Service de l’économie numérique de la Direction générale des Entreprises, Ministère de l'Économie et des Finances
  • Marie-Anne Frison-Roche, professeure, Sciences Po
  • Vincent Grari, Research Data Scientist, AXA
  • Arthur Guillon, Senior Machine Learning Engineer, easyRECrue
  • Nicolas Kanhonou, directeur, promotion de l'égalité et de l'accès aux droits, Défenseur des droits
  • Djamil Kemal, co-CEO, Goshaba
  • Yann Le Biannic, Data Science Chief Expert, SAP
  • Agnès Malgouyres, responsable intelligence artificielle, Siemens Healthineers France
  • Stéphane Mallat, professeur, Collège de France
  • Sébastien Mamessier, Senior Research Engineer, Uber
  • Claire Mathieu, directrice de recherche, CNRS
  • Marc Mézard, directeur, ENS
  • Nicolas Miailhe, co-fondateur et président, The Future Society
  • Christophe Montagnon, directeur de l’organisation, des systèmes d’information et de la qualité, Randstad France
  • Christelle Moreux, responsable juridique, Siemens Healthcare
  • François Nédey, responsable de l'unité Technique et Produits et membre du comité exécutif, Allianz
  • Bertrand Pailhès, coordonnateur de la stratégie française en intelligence artificielle jusqu'en novembre 2019 et directeur des technologies et de l’innovation, CNIL
  • Cédric Puel, Head of Data and Analytics, BNP Paribas Retail Banking and Services
  • Pete Rai, Principal Engineer in the Chief Technology and Architecture Office, Cisco
  • Boris Ruf, Research Data Scientist, AXA
  • Bruno Sportisse, président-directeur général, Inria
  • Pierre Vaysse, directeur technique particuliers, pricing, data & pilotage, Allianz
  • Renaud Vedel, coordonnateur ministériel en matière d'intelligence artificielle, Ministère de l'Intérieur
  • Fernanda Viégas, Co-lead, PAIR Initiative, Google
Télécharger
  • Rapport (88 pages)
  • Résumé (2 pages)

    • Calculer le chemin le plus court sur votre téléphone, constituer automatiquement une playlist avec vos chansons préférées, trouver le résultat le plus pertinent via un moteur de recherche, sélectionner des CV en adéquation avec une offre d’emploi : les algorithmes vous assistent tout le long de la journée. Mais que se passerait-il si un algorithme de recrutement était discriminant ? Qu’il laissait systématiquement de côté les femmes ou des minorités ethniques ? Comment s’assurer que ces erreurs soient mises en lumière et corrigées ?

    Nous avons voulu, à travers la quarantaine d’entretiens réalisés, apporter des solutions concrètes pour limiter les dérives potentielles et redonner confiance dans les algorithmes.

    Ce rapport tente de donner une perspective française à cette problématique aujourd’hui essentiellement traitée sous un prisme américain. Il poursuit l’étude de Télécom Paris et de la Fondation Abeona, Algorithmes : biais, discrimination et équité publiée en 2019.

    Les enjeux des algorithmes

    Qu’est-ce qu’un algorithme ?

    Un algorithme est une suite d’opérations ou d’instructions permettant d’obtenir un résultat. Une recette de cuisine, par bien des aspects, est un algorithme. Les algorithmes existent sous de nombreuses formes. L’une d’entre elles, l’apprentissage machine (machine learning) a connu un développement significatif ces dernières années.

    Les algorithmes de machine learning apprennent seuls, c’est à dire qu’ils créent eux-même les liens pour arriver à une conclusion. Si on leur demande de reconnaître un chat sur une image, ils formuleront une solution de type : "étant donné qu’il y a des oreilles pointues sur l’image, je suis sûr à 90 % qu’il s’agit d’un chat".

     

    Algorithmes : contrôle des biais S.V.P. - Infographie : Comment fonctionne un algorithme d'intelligence artificielle

    Pourquoi peuvent-ils être biaisés ?

    Le biais d’un algorithme est l’écart entre ce que dit l’algorithme et la réalité. Ils sont très souvent dûs aux données utilisées. Si dans la zone où l'algorithme est développé les photos de chats sont toujours prises sur tapis, mais pas les chiens, l'algorithme considérera qu'un tapis en arrière-plan est signe de présence d'un chat. Si on l'utilise dans une autre zone, où des chiens sont également pris en photo sur des tapis, l'algorithme pourrait reproduire ce biais, et croire reconnaître un chat.

    Amplifier ou réduire les discriminations ?

    Pourquoi peuvent-il discriminer ?

    Dans certains cas, ces biais peuvent entraîner des discriminations. C’est-à-dire que l’algorithme aboutit à des propositions différentes selon, entre autres, que la personne soit d’un genre ou d’une origine ethnique spécifique.

    Prenons un algorithme de recrutement dont l’objectif est d’identifier les meilleurs profils pour un métier donné. Une façon de procéder est de regarder, aujourd’hui, quelles sont les caractéristiques des personnes qui exercent ce métier. Si ce métier est fait à 90 % par des hommes, l’algorithme pourrait conclure que le critère "femme" n’est pas approprié pour ce métier. En conséquence, il pourrait proposer moins de candidates au recruteur.

    Des algorithmes pour réduire les discriminations

    Le combat des biais algorithmiques, c’est donc avant tout un combat contre des biais déjà existants au quotidien. Les algorithmes, malgré le risque parfois avéré de biais, sont également un progrès en matière de discrimination à bien des égards puisqu’ils peuvent objectiver des décisions humaines parfois biaisées. L’enjeu n’est pas seulement de produire des algorithmes équitables mais bien de réduire les discriminations dans la société. Ainsi, après avoir pris connaissance d’un biais dans la société, nous pourrions demander à un algorithme de nous aider à le corriger.

     

    Algorithmes : contrôle des biais S.V.P. - Infographie : Algorithmes, un risque de biais à chaque étape

    Créer des algorithmes équitables

    Équité individuelle ou équité de groupe ?

    La difficulté est donc de créer des algorithmes équitables. Mais premièrement, l’équité, ce n’est pas si simple que ça : s’agit-il de juger tout le monde sur les même critères (équité individuelle) ? Ou bien s’agit-il de s’assurer qu’aucun groupe (homme, femme, origine ethnique, etc.) n’est discriminé ? Malheureusement les deux sont mathématiquement incompatibles, c’est à dire qu’on ne peut avoir une totale équité de groupe et une totale équité individuelle.

    En effet, l’équité peut être conçue de deux façons différentes :

    • l’équité individuelle, qui assure que des individus aux profils proches seront traités de la même façon, c’est-à-dire qui prend en compte les caractéristiques de l’individu pour adapter une décision.
       
    • l’équité de groupe, qui assure que le processus de décision ne favorise pas arbitrairement un certain groupe, c’est-à-dire qui prend en compte l’appartenance de l’individu à un groupe pour adapter une décision.

    Pouvoir mesurer les biais des algorithmes

    Deuxièmement, il faut pouvoir mesurer les biais. Cela nécessite de connaître les caractéristiques contre lesquelles on veut empêcher une discrimination. Par exemple, pour savoir si un algorithme publicitaire discrimine les femmes, il faut que je sache à combien de femmes l’algorithme a distribué des publicités. Dans certains cas, comme l’origine ethnique, l'utilisation de ces données est protégée - et à juste titre. Cependant, sans l’accès à ces données, nous ne pouvons pas savoir s’il y a une discrimination.

    Les enjeux pour les algorithmes

    L’enjeu de la performance

    Si corriger un algorithme pour le rendre équitable est une priorité, cela représente aussi un enjeu pour sa performance. Il sera donc difficile et coûteux pour de nombreux acteurs de lutter contre ces discriminations algorithmiques.

    L’enjeu de l’innovation

    Lutter contre les biais des algorithmes, c’est aussi réaliser une synthèse entre la protection des citoyens contre les discriminations et le soutien à l’innovation et à l’économie numérique. Restreindre fortement l’usage des algorithmes, c’est déclasser l’industrie française du numérique et subir une domination technologique américaine et chinoise. Mais laisser faire, c’est ignorer le potentiel de destruction de telles innovations sur notre tissu social.

    Les recommandations

    Prévenir les biais en répandant des bonnes pratiques et des efforts de formation pour tous ceux qui produisent ou utilisent des algorithmes

    1
    Déployer des bonnes pratiques pour prévenir la diffusion de biais algorithmiques (chartes internes, diversité des équipes)
    Détails

    Les biais algorithmiques sont un danger réel pour les citoyens mais également pour les entreprises et les administrations qui les conçoivent ou les déploient. Prévenir les biais sera bien moins que coûteux que les corriger.  Il est donc essentiel que chaque maillon de la chaine mette en place des bonnes pratiques pour prévenir, détecter, et alerter sur de possibles biais. Sans être exhaustifs, quelques points méritent d’être inclus dans ces chartes internes : des exigences de méthodologie pour assurer la qualité des algorithmes, les analyses et évaluations internes à faire subir à l’algorithme, les propriétés que doivent avoir les algorithmes développés.

    2
    Former les techniciens et ingénieurs aux risques de biais, et améliorer la connaissance citoyenne des risques et opportunités de l'IA
    Détails

    Si les développeurs semblent en première ligne face aux biais, c’est en réalité l’intégralité des acteurs de la vie d’un algorithme qui sont concernés. Les formations pourraient se concentrer sur les biais algorithmiques et notamment les biais de société, les différentes notions d’équité, l’importance de recueillir un échantillon de données d’apprentissage qui reflète correctement la population qui sera touchée par l’algorithme, l’identification de variable sensibles (genre, ethnicité) dans les données d’apprentissage et, plus important encore, la compréhension que même en l'absence formelle de ces variables, elles peuvent être approchées par l’algorithme grâce à des variables de substitution pour produire des résultats injustes et des pratiques discriminatoires.

    Donner à chaque organisation les moyens de détecter et combattre les biais de ses algorithmes

    3
    Tester les algorithmes avant utilisation en s’inspirant des études cliniques des médicaments
    Détails

    À l’instar des nouveaux médicaments, il est difficile de comprendre le fonctionnement et l’impact de tous les algorithmes, notamment ceux utilisant l’intelligence artificielle. Par ailleurs, comprendre leur fonctionnement ne garantit pas qu’il n’aura pas de biais algorithmiques. C’est in fine par le test de l’absence de biais qu’il est possible de créer la confiance dans le caractère équitable des algorithmes. Les développeurs et acheteurs d'algorithmes devront recourir à des tests fonctionnels ou de performance pour s’assurer de l’absence de biais. Dans certains cas où la création de bases de données de test est difficile ou problématique, l’État pourrait la prendre en charge.

    4
    Adopter une démarche d’équité active autorisant l’usage de variables sensibles dans le strict but de mesurer les biais et d’évaluer les algorithmes
    Détails

    Nous proposons de passer d’une approche qui atteint l’équité par l’ignorance de la diversité à une équité active. Cela signifie accepter que l’équité d’un algorithme ne s’obtient qu’en testant l’indépendance du résultat vis-à-vis de certaines variables. La collecte et l’utilisation de ces données sensibles doivent être strictement encadrées ! Afin d’éviter les dérives, une telle collecte serait limitée aux tests de la présence de biais et elle serait restreinte à un échantillon des utilisateurs concernés. Par ailleurs, une telle approche devrait faire l’objet d’une analyse d’impact déclarée à la CNIL de manière préalable. Les données pourraient également être collectées par un acteur extérieur à l’entreprise. Enfin, la nature des algorithmes testés devra justifier la collecte de telles données.

    5
    Mettre à disposition des bases de données de test publiques pour permettre aux entreprises d’évaluer les biais de leur méthodologie
    Détails

    La mise à disposition de bases de données incluant des informations sur les 25 critères protégés serait utile pour tester des algorithmes dans chaque grand cas d’usage : une base de donnée pour la reconnaissance faciale (avec des informations sur le genre, l’ethnie par exemple), une base de donnée pour l’évaluation de risque de crédit ou assurantiel (avec des informations sur les revenus, le genre, la CSP, l’historique bancaire).

    Établir un cadre pour limiter les risques émanant des algorithmes à fort impact

    Nous définissons un algorithme à fort impact comme un algorithme dont les décisions génèrent un ou plusieurs des types d’impact suivant : le déni d’accès à des services essentiels, l’atteinte à la sécurité des personnes, la restriction des droits fondamentaux.

    6
    Être plus exigeant pour les algorithmes ayant un fort impact sur les personnes (droits fondamentaux, sécurité, accès aux services essentiels)
    Détails

    Pour les algorithmes à fort impact, nous recommandons un cadre ad hoc prévoyant des obligations de transparence en ce qui concerne les données utilisées et les objectifs fixés à l’algorithme ainsi qu’un droit de recours contre la décision prise. La création d’un tel cadre ne nécessite pas une nouvelle loi sur les biais des algorithmes mais plutôt la mise en œuvre de bonnes pratiques dans les entreprises et administrations, l’usage de dispositifs juridiques existants et l’ajout au cas par cas de dispositions dans des législations sectorielles. 

    7
    Soutenir l’émergence de labels pour renforcer la confiance du citoyen dans les usages critiques et accélérer la diffusion des algorithmes bénéfiques
    Détails

    Nous recommandons d’encourager l’émergence de labels (qui informent l’acheteur sur les caractéristiques du produit) et certifications (qui indiquent la conformité à un niveau d’exigence) pour les algorithmes afin de mieux se prémunir contre leurs biais éventuels. Les labels pourraient se concentrer sur l’auditabilité des algorithmes, sur la qualité des données ou encore sur la présence d’un processus d’évaluation des risques de biais au sein de l’entreprise.

    8
    Donner à la puissance publique une capacité d’audit des algorithmes à fort impact
    Détails

    Dans les cas problématiques où les recommandations de bonnes pratiques sont insuffisantes, l’État devra être capable d’auditer les algorithmes. Il en ira de même lorsqu’il souhaitera utiliser lui-même un algorithme à fort impact.

    Tanya Perelmuter
    Imprimer
    PARTAGER
    Télécharger
    <p><strong>Algorithmes : </strong><br /> contrôle des biais S.V.P.</p>
    Rapport
    (88 pages)
    Télécharger
    Résumé
    (2 pages)
    contenus associés
    Dans
    les médias
    Recevez chaque semaine l’actualité de l’Institut Montaigne
    Je m'abonne