Digital Services Act : vers des algorithmes responsables ?

Technologies Union Européenne

Imprimer

Digital Services Act : vers des algorithmes responsables ?

Auteur

Anne Bouverot

Présidente du Conseil d'Administration de Technicolor et Présidente de la Fondation Abeona

Auteur

Thierry Delaporte

CEO et directeur général de Wipro Limited

L’Institut Montaigne a contribué à la consultation publique de la Commission européenne sur le Digital Services Act, le texte européen visant à responsabiliser les intermédiaires numériques. Que ce soit dans les secteurs des médias, du transport, du recrutement ou du e-commerce, on reproche aux plateformes le manque de transparence des technologies qu’ils utilisent pour faire fonctionner leurs services. Ces plateformes s'appuient sur des algorithmes pour prendre des décisions à l'échelle ou recommander des contenus. Si ces algorithmes sont souvent mal compris par les acteurs publics, ils peuvent causer des problèmes importants, en prenant des décisions discriminantes, en favorisant des contenus problématiques, en incitant certaines actions… Cet article se concentre sur la question difficile des algorithmes et propose des solutions pour résoudre le problème du contrôle de leurs biais potentiels. Il s’appuie sur le rapport Algorithmes : contrôle des biais S.V.P, publié par l'Institut Montaigne en mars 2020.

Pourquoi il faut se préoccuper des biais algorithmiques

Depuis la mort de George Floyd en mai dernier à Minneapolis, les protestations s’enchaînent aux États-Unis pour réclamer une réforme radicale des pratiques de la police. Les protestations ont gagné quasiment chaque continent, de Rio à Madrid, en passant par la France. De nombreux chefs d’entreprises ont apporté leur soutien au mouvement. Les algorithmes et l’intelligence artificielle sont parmi les pratiques pointées du doigt. PredPol, qui vend un logiciel de police prédictive - prédire où et quand se produiront les prochains crimes -, a été fortement critiqué pour les biais des ses systèmes. L’entreprise a rappelé que son logiciel avait été conçu avec l’espoir d’améliorer les pratiques de la police, c’est à dire en "diminuant les biais, augmentant la transparence, et en renforçant la responsabilisation de chacun".

Face aux biais des policiers humains, PredPol, mais aussi IBM, Microsoft ou Palantir, promeuvent la mise en place d’algorithmes qui viendraient corriger ces biais. Leurs détracteurs sont pourtant nombreux, qui voient au contraire dans ces algorithmes un risque de renforcer les biais plutôt que de les corriger. Cet été, 1 400 mathématiciens ont ainsi signé une lettre appelant au boycott des logiciels de police prédictive. La police de Los Angeles a décidé d’abandonner PredPol, considérant que les données historiques sur lesquelles est entraîné l’algorithme reflètent trop d’anciennes pratiques de discrimination envers les afro-américains pour donner des prédictions satisfaisantes.

Ni les entreprises, ni le domaine de la sécurité n’ont le monopole des biais algorithmiques. Alors que les lycéens britanniques n’ont pas pu passer leur A-levels (l’équivalent du baccalauréat), leurs professeurs ont été chargés de donner des évaluations finales. Un algorithme devait ensuite corriger ces évaluations, selon notamment le niveau général de l’établissement. Il a été immédiatement accusé de favoriser les lycéens d’établissements privés et prestigieux au détriment des lycéens d’établissements publics, avec un impact direct sur leur accès à l’université.

Ces deux exemples viennent conforter la conclusion du récent rapport de l’Institut Montaigne sur le sujet : la principale source de biais vient des données qui servent à entraîner un algorithme. Qu’il s’agisse des interpellations de la minorité afro-américaine aux États-Unis, ou des performances scolaires de lycéens d’établissements défavorisés aux Royaume-Uni, l’algorithme réplique les inégalités historiques.

Les algorithmes peuvent aussi servir à combattre les biais

Qu’il s’agisse des interpellations de la minorité afro-américaine aux États-Unis, ou des performances scolaires de lycéens d’établissements défavorisés aux Royaume-Uni, l’algorithme réplique les inégalités historiques.

Bien souvent, les algorithmes révèlent des discriminations déjà présentes dans notre société. Ils permettent de les objectiver, d’en évaluer l’ampleur. En forçant à formaliser les règles qui s’appliquent à tous, et en permettant de garantir leur juste application, les algorithmes pourraient d’ailleurs nous aider à lutter contre ces discriminations. Que cette promesse soit contestée quand elle vient de PredPol n’empêche pas de la prendre au sérieux. Pour tout exemple de logiciel de tri des CV chez Amazon qui écarte les femmes des postes à responsabilités, il existe un exemple de logiciel de recommandations de profil dans une agence d’intérim qui force les entreprises à évaluer et reconnaître leurs biais de recrutement.

Les biais préexistent aux algorithmes, et ces derniers peuvent aider à les réduire. Néanmoins les biais algorithmiques méritent une attention particulière du législateur, et notamment de la Commission européenne, qui rédige en ce moment son Digital Services Act.

Car les algorithmes ne font pas que répliquer des biais historiques, ils font office de caisse de résonance. S’ils incorporent des biais, ils menacent de les diffuser à grande échelle. Un algorithme de police entraîné sur les données historiques d’une équipe de police raciste pourra répercuter ces biais sur les comportements d’autres polices qui utilisent le logiciel. Par ailleurs, les algorithmes risquent de camoufler la responsabilité de chacun, et de rendre plus difficile la contestation de décisions biaisées.

Mais combattre les biais algorithmiques peut s’avérer difficile

Ces biais posent cependant de multiples difficultés. La définition d’un résultat biaisé dépend du contexte. Un traitement équitable peut prendre la forme d’une équité entre individus (chacun est traité de la même manière) ou entre groupe (chaque groupe, homme/femme, catholique/musulman,…, est traité en moyenne de la même manière). Les deux approches ne sont pas toujours compatibles, et il est fort à parier que les conceptions d’équités varient autour du globe, par exemple entre l’Europe et les États-Unis.

Ensuite, modifier un algorithme pour qu’il soit pleinement équitable implique nécessairement d’en réduire la performance technique. Si cela peut être acceptable dans la grande majorité des cas, la dégradation de performance pour des algorithmes sensibles peut être difficile à accepter, par exemple dans le domaine médical. Doit-on privilégier l’équité d’un algorithme de détection de cancers à partir de radiographie, au détriment de sa performance pour certains types de patients ?

Enfin, réguler strictement les entreprises afin de s’assurer de l’absence de biais peut conduire à renforcer la position dominante des GAFA, qui ont les ressources à leur disposition pour se plier à toute régulation. L’écosystème numérique européen reste encore à la peine, et il faut préserver la capacité d’innovation des entreprises et des start-ups.

Pour autant, contrôler les biais des algorithmes et maîtriser leurs conséquences est plus que jamais essentiel si l’on veut maintenir la confiance des usagers dans les plateformes et services numériques.

Quel est le cadre légal actuel ?

L’année 2020 marque peut être l’année où la tech devient réellement une industrie régulée, comme tant d’autres avant elles, de la banque aux télécommunications. Néanmoins le mouvement s’est amorcé il y a déjà plusieurs années, et les intermédiaires numériques doivent d’ores et déjà suivre un certain nombre de réglementations.

En Europe, elles respectent un ensemble de lois qui s’appliquent au monde du physique comme du numérique : protection du consommateur, fiscalité, fake news… En complément, certains textes spécifiques sont venus durcir leur cadre d’activité dans plusieurs domaines comme la protection des données personnelles avec le RGPD, ou la concurrence dans le commerce en ligne avec la directive e-commerce.

En matière de biais des algorithmes, un cadre juridique significatif existe également. Pas moins de 5 directives européennes luttent contre les discriminations, tant dans le monde physique que numérique. Le RGPD impose une transparence et un droit de recours contre les décisions provenant des algorithmes, avec des amendes pouvant atteindre 4 % du chiffre d’affaires mondial de l’entreprise en cas d’infraction. Ainsi, la société civile est en mesure de traquer les éventuelles discriminations.

L’année 2020 marque peut être l’année où la tech devient réellement une industrie régulée, comme tant d’autres avant elles, de la banque aux télécommunications.

Sur le plan national, la loi du 27 mai 2008 définit 25 critères protégés contre les discriminations (genre, religion, opinion politique,…) pour des multiples situations dont l’accès à l’emploi ou aux services publics, avec ou sans présence d’algorithmes. La loi pour une république numérique de 2016 interdit les décisions publiques automatisées sans information et transparence vis à vis du citoyen sur le fonctionnement de l’algorithme. Ainsi, il existe d’ores et déjà de nombreux gardes fous limitant les risques de biais des algorithmes.

Des failles subsistent néanmoins : les régulations en vigueur sont majoritairement ex post, c’est-à-dire dans une logique de sanctions de mauvais comportements et accordent donc peu d’importance aux mesures de prévention et de correction des biais algorithmiques, ralentissant la mise en œuvre de bonnes pratiques dans l’écosystème numérique. Par ailleurs, les lois françaises et européennes sur la protection de la vie privée empêchent l’évaluation des biais des algorithmes sur des critères sensibles comme l’origine ethnique ou l’orientation sexuelle, la collecte de ces informations y étant interdite. Ce n’est pas le cas aux États-Unis où cette collecte est autorisée et où le projet d’Algorithm Accountability Act, évalué au Congrès, prévoit l’obligation pour les plateformes de réaliser des études d’impact sur les possibles discriminations d’algorithmes touchant à des services essentiels.

Mais toutes ces règles ont un coût. Le RGPD est ainsi critiqué pour avoir aspiré les investissements numériques des entreprises européennes pendant plusieurs années pour de la mise en conformité, au détriment des investissements dans l’innovation. Il lui est aussi reproché d’ajouter de nouvelles barrières techniques et réglementaires à l’entrée de nouveaux acteurs sur ces marchés, consolidant ainsi la position de monopole des champions américains ou chinois du numérique.

Le législateur fait face à un dilemme et à des objectifs apparemment contradictoires, entre l’innovation numérique et la responsabilisation. S’il cherche à rendre l’industrie numérique plus compétitive en régulant peu, il s’expose à de multiples scandales de biais algorithmiques comme cela a pu être le cas aux États Unis dans le domaine du recrutement ou de la justice, où un algorithme d’évaluation du risque de récidive utilisé par les juges et dénoncé par l’ONG ProPublica réalisait bien plus d’erreurs dans l’évaluation des individus afro-américains que blancs.

Que proposez-vous pour aller dans le sens d'une plus grande responsabilité ?

Quelques principes important doivent à nos yeux guider la commission européenne, afin de lutter efficacement contre les biais des algorithmes.

Tout d’abord, il est primordial d’éviter une réglementation excessive et ses effets néfastes. Les lois luttant contre les discriminations, y compris dans le monde du numérique, sont nombreuses et suffisantes dans l’immense majorité des cas. Plutôt que de se demander quelles nouvelles contraintes il faudrait imposer aux plateformes, il est essentiel de faire appliquer les textes existants. Il est par ailleurs illusoire de penser que les autorités vont pouvoir effectuer des contrôles de biais, via des audits par exemple, sur l’ensemble des algorithmes de la planète. Les ressources à la disposition de la CNIL seraient bien insuffisantes ! Le retard pris par l’Europe en matière d’innovation a directement un impact sur notre souveraineté numérique. Il est nécessaire de faire émerger des géants européens du numérique en mettant en place des régulations favorables aux nouveaux entrants et aux petits acteurs à l’aide d’un marché européen numérique intégré, c’est à dire évitant autant que possible la superposition de lois numériques nationales.

Ce texte européen ne viendra pas seul à bout des biais dans les algorithmes. De nombreuses solutions sont du ressort des entreprises, de tierces parties ou encore des gouvernements nationaux.

Nous pensons par ailleurs nécessaire d’inciter les plateformes à tester la présence de biais dans les algorithmes, comme l’on teste la présence d’effets secondaires dans les médicaments. Car se forcer à ne pas collecter ou utiliser les données protégées (comme le genre) ne suffit pas à garantir l’absence de biais. Il faut mettre en œuvre une logique d’équité active en matière de lutte contre les biais des algorithmes. Concrètement, cela implique d’autoriser la collecte ponctuelle par les plateformes de données sensibles et protégées, à condition qu’elles ne servent qu’à évaluer si les algorithmes ne sont pas biaisés par rapport à ces critères (origine ethnique, religion, orientation sexuelles, autres).

Ce changement de logique devrait nécessairement être associé d’un strict contrôle par les autorités compétentes, ainsi que par la mise en place de gardes fous sur la nature et la quantité de données collectées. La collecte de données sensibles à des fins de test des algorithmes pourrait par exemple n’être autorisée que sur un échantillon.

Il faut de plus exiger davantage de transparence des plateformes, en particulier pour celles mettant en œuvre les algorithmes les plus sensibles, c’est-à-dire ceux touchant à l’accès aux services essentiels, à l’intégrité physique et mentale de la personne, ou aux droits fondamentaux. Ces algorithmes devraient s’inscrire dans un cadre ad hoc pour empêcher les biais dans lequel les obligations de transparence et les droits de recours seraient renforcés. Ce cadre devra être un savant mélange de bonnes pratiques promues par les plateformes et de régulations sectorielles précises, quand cela est nécessaire.

Enfin, le Digital Services Act devrait autant que possible privilégier des régulations ex ante, c’est à dire demander aux plateformes d’appliquer des processus et des règles claires, dont la mise en œuvre peut être contrôlée par des audits et dont les manquements peuvent être sanctionnés par des amendes, plutôt que de sanctionner in fine la présence de biais.

Ce texte européen ne viendra pas seul à bout des biais dans les algorithmes. De nombreuses solutions sont du ressort des entreprises (sur la formation des ingénieurs aux biais), de tierces parties (créer des labels pour des algorithmes selon leur auditabilité, la qualité de leurs données et l’évaluation des biais) ou encore des gouvernements nationaux (construire au sein des administrations une capacité technique à auditer des algorithmes).

Ce billet a été rédigé avec l’aide d’Arno Amabile et de Basile Thodoroff, ingénieurs du Corps des mines et rapporteurs du travail de l’Institut Montaigne, Algorithmes : contrôle des biais S.V.P.