AccueilExpressions par MontaigneRisques extrêmes et amour du risque : les opportunités industrielles de l'IAL'Institut Montaigne propose une plateforme d'Expressions consacrée au débat et à l’actualité. Il offre un espace de décryptages et de dialogues pour valoriser le débat contradictoire et l'émergence de voix nouvelles.15/11/2023Risques extrêmes et amour du risque : les opportunités industrielles de l'IA TechnologiesImprimerPARTAGERAuteur Nicolas Moës Directeur de la gouvernance européenne de l'IA pour The Future Society Drôle de mise à l'honneur. Il y a quelques jours, à Bletchley Park, non loin de Londres, c'est à travers le prisme des "risques extrêmes" que l'on a considéré la puissance de rupture apportée par le développement exponentiel des intelligences artificielles et de leurs usages. Les 1er et 2 novembre dernier, Rishi Sunak avait pris l'initiative d'un sommet international de régulation pour mieux répondre aux menaces nouvelles auxquelles nos sociétés vont devoir faire face. Les risques posés par l'IA, certes. Mais l'IA ne demande-t-elle pas aussi de prendre des risques et ne faudrait-il pas faire le pari de l’audace ? Alors, si l'on joue à quitte ou double, quels sont les gains à espérer et les pertes à craindre ? Comment assurer la souveraineté économique et stratégique de la France et de l'Europe ? Dans cet entretien, Nicolas Moës revient sur le bilan du sommet de Bletchley Park et décrypte l'opportunité industrielle que représente l'IA. Quel est le bilan du sommet de Bletchley Park ? A-t-on abouti à des avancées substantielles ? Bletchley Park a permis des mesures importantes. Le sommet a d'abord donné lieu à une déclaration politique pour une IA durable, signée par 28 États membres, la Bletchley declaration. Elle propose à la fois une liste consensuelle des risques occasionnés par l’IA et donne à lire les engagements des signataires pour agir sur leur réduction au niveau national. C'est une sorte d’inventaire des menaces. Elles concernent la transformation du marché du travail, l'affaiblissement de l'autonomie humaine sous l'effet d'une sur-dépendance et d'une "sur-décision" automatisée, les biorisques et la cybersécurité : accidentellement ou intentionnellement, des armes cyber pourraient être relâchées dans l'écosystème digital et cannibaliser toutes les ressources de calcul disponibles à l'échelle de la planète, réduisant à néant nos capacités informatiques et paralysant notre monde hyperconnecté. On a aussi relevé les risques pour la santé mentale, liés à une dépendance affective des hommes induits en erreur par l'apparente réciprocité des intelligences artificielles. Cette réunion a également permis la publication d'un consensus on risks, sorte d'annuaire des meilleures pratiques de diminution des risques dans l'industrie. Neuf mesures ont été particulièrement mises en valeur, parmi les 42 recensées en usage dans les entreprises. On en fait largement trop peu et il serait bon de s'inspirer des entreprises les plus performantes en la matière, comme Anthropic, entreprise américaine fondée en 2021, même si celles-ci sont toujours bien loin du niveau de précaution requis par l'IA dans des industries aussi importantes et délicates que l’alimentaire, le pharmaceutique ou l’aéronautique. Le Royaume-Uni a aussi annoncé la création d'un Safety Institute, un institut chargé de la surveillance des risques, en partenariat avec l'industrie. Les États-Unis avaient également déclaré le 31 octobre qu'ils allaient créer leur propre institut, de même qu'Ursula von der Leyen pour l'UE. On s’attend donc à la formation d'un écosystème d'acteurs qui seront amenés à coopérer. Au niveau international, Bletchley Park a donné lieu à l’instauration d'un Groupe d'experts intergouvernemental autour de l’IA, inspiré du GIEC (sur le climat) et placé sous la direction de Yoshua Bengio, spécialiste de l’apprentissage profond ("deep learning") et récipiendaire du prix Turing en 2018. Ce sera le State of AI Science report. Quel bilan dresser au vu de toutes ces mesures ? Assez mitigé. D'un côté, le consensus sur les risques est très positif mais de l’autre, il reste de nombreux angles morts. La Vice Présidente américaine Kamala Harris a souligné ceux-ci en disant que l’on négligeait la prise en compte des menaces que les IA faisaient peser sur les droits fondamentaux. Un des risques des IA est en effet celui de biais qu’elles introduiraient dans les systèmes de santé en généralisant abusivement certains paramètres, avec des conséquences potentiellement mortelles, ou celui du manque de contrôle lié à l’automatisation des tâches. Un récent exemple lié aux politiques de prévention du cancer du sein au Royaume-Uni l’illustre bien : une mise à jour mal pensée a fait dérailler le système de prévention du cancer du sein en 2019. Les rappels pour le dépistage étaient automatisés par un algorithme que sa mise à jour a rendu incompatible avec un autre algorithme dévolu à la communication, si bien que toutes les femmes d’une certaine classe d’âge ont été oubliées par les messages de rappel. On estime que la mort d’entre 135 et 270 femmes aurait pu être évitée sans cette défaillance. Or, dans un cas de ce genre, la responsabilité des acteurs est diluée entre tous les chaînons, des programmateurs de logiciel aux autorités de santé. D'autres exemples aident à prendre la mesure des risques auxquels nous allons être confrontés. Le flash krach du 6 mai 2010, dû à un ordre de vente massif mal exécuté par deux algorithmes dont les décisions de vente s'étaient auto-renforcées l'une l'autre, a été à l’origine de pertes considérables. Ces incidents ont eu lieu avec des technologies des années 2000. Le progrès des vingt dernières années, bénéfique par bien des aspects, vient aussi aggraver les risques de perte de contrôle ou d'accidents.La limite n'est pas technologique mais structurelle, elle ne pourra donc pas être résolue par une amélioration des systèmes d'IA mais seulement par leur limitation.On peut facilement imaginer le cas d’assistants personnels automatiques, qui réserveraient simultanément mille tables de restaurants puis, ayant soumis leur choix à leur utilisateur, en annuleraient 999, saturant ainsi les réseaux. La concentration des pouvoirs sera telle qu'il suffira d'un point d'accident pour déstabiliser tout le secteur. La limite n'est pas technologique mais structurelle, elle ne pourra donc pas être résolue par une amélioration des systèmes d'IA mais seulement par leur limitation, si l'on bride leur puissance technique.Sans quoi, ces quelques exemples prendront des proportions massives à l'avenir. Et qu'en sera-t-il des interactions machine-machine, entre des systèmes aux degrés de robustesse et de fiabilité incompatibles ? On ne peut pas anticiper le risque d'effets cascade dans la chaîne de valeur, avec les conséquences systémiques qu'ils comporteront. Il est bon de mesurer ces menaces structurelles mais cela ne servira à rien si l'on ne fait rien au-delà de la seule prise de conscience des risques. Or, le système est pris en otage par les industriels. S'il existe bien un consensus sur le diagnostic, il n'y en a aucun sur les mesures à prendre pour y faire face. Les législateurs européens et la société civile sont déçus par la dangereuse incohérence entre les risques identifiés et les mesures proposées, qui manquent cruellement d’ambition : produire régulièrement des rapports sera d’une efficacité très limitée !Ce d'autant plus que les modèles les plus importants et les plus avantageux pour l'économie sont ceux qui ont la capacité d’usage la plus étendue. L'opportunité industrielle qu'ils représentent est proportionnelle au risque qu'ils impliquent : énorme. Aujourd'hui, plus personne ne peut avoir de vue d’ensemble d'Internet et les intelligences artificielles débordent également notre capacité de maîtrise : l'apprentissage profond ("deep learning") excède les capacités de compréhension de la plupart des gens mais reste facile d'utilisation. Les entreprises n'ont qu'à disposer d’une capacité de calcul suffisante et d’une énorme quantité de données, sans qu'il leur soit besoin de maîtriser les structures profondes du modèle. Elles pourraient vite être dépassées - dépassement que l'on observe déjà avec les incidents que le lancement de Bard et de BingChat ont causés. De plus, les modèles de rupture sont ceux des IA dites larges, dont les capacités sont générales, c'est-à-dire dont on ne peut prédéterminer ni l’amplitude ni la polyvalence des actions. À la différence des IA étroites, qui remplissent l'objectif qui leur a été assigné et pour lequel elles ont été entraînées, les IA larges développent en permanence leur spectre d'usages. On découvre encore maintenant des tâches que GPT3 peut réaliser, alors qu'il a été développé il y a trois ans. L'inquiétude atteint les développeurs eux-mêmes : il suffit de se rappeler, par exemple, que Geoffrey Hinton, l'un des développeurs les plus importants de réseaux de neurones artificiels, a quitté Google en 2023, se disant effrayé par les perspectives ouvertes par l'IA. Les risques indirects liés aux IA larges dépassent par définition toutes nos prédictions, les décideurs au sein des grandes entreprises qui les développent n'ont bien souvent aucun contrepoids en interne voire présentent certains traits de caractère qu'on pourrait associer à de la mégalomanie et les législateurs, quant à eux, laissent la loi se faire distancer par les avancées technologiques.Les décideurs des grandes entreprises présentent certains traits de caractère qu'on pourrait associer à de la mégalomanie et les législateurs laissent la loi se faire distancer par les avancées technologiques.Réguler est capital pour empêcher de graves dérèglements. La complexité technique est telle - on parle de "technical opacity" que la société civile n’a pas conscience des abus des sociétés et l'opinion publique ne fait donc pas peser de pression sur les entreprises de la tech. On ne peut pas compter sur le discernement des industriels ou l'efficacité du marché : Meta vient de donner accès à un modèle d’IA en open-source qui va sans doute gravement perturber les élections de plusieurs pays en 2024, Llama 2 - sans aucune responsabilisation légale. Si on avait régulé correctement, on serait bien plus apte à comprendre l'apprentissage profond et on pourrait l’utiliser en toute sécurité dans nos hôpitaux, écoles et administrations. La France a défendu l'idée que la régulation ne concerne que les modèles de fondation les plus importants. Que sont ces modèles et en quoi représentent-ils particulièrement un risque ? La France devrait-elle lancer son propre AI Safety Institute ?Oui, cela ne fait aucun doute, il est capital de mettre au point une méthode de gestion des risques optimale. Il faut comprendre que diminuer les risques ne revient pas à brider la technologie au nom d'une prudence timorée mais permet au contraire une meilleure et plus large appropriation des facilités apportées par les IA. Il faut comprendre que diminuer les risques ne revient pas à brider la technologie au nom d'une prudence timorée mais permet au contraire une meilleure et plus large appropriation des facilités apportées par les IA.Plus le comportement des modèles d'IA est prédictible, plus il est stable dans le temps, meilleure sera sa valeur financière et commerciale. Tant que les modèles ne sont pas assez robustes, les marchés répugnent à les soutenir -et le font uniquement à cause du phénomène de hype- et les industriels à les intégrer dans leurs stratégies de développement. Augmenter la fiabilité des IA représente donc une opportunité économique immense et l'Europe est très bien positionnée sur ce marché.Le premier qui arrivera à résoudre les risques de fiabilité des IA capturera le marché.Une augmentation de 2 ou 3 % de la précision des IA implique de nouveaux marchés immenses et de nouvelles applications. Or, les IA représenteront d’ici 2030 une manne d’environ 15,7 trilliards de dollars, selon le cabinet PwC. Ces chiffres restent une estimation mais les industries classiques, aviation, automobiles, secteur médical, auront une large part dans ces gains économiques. Faut-il privilégier les avancées de l'IA ou prendre le risque de ralentir mais pour mieux favoriser les usages de l'IA dans l'économie et investir dans la robustesse ?Ralentir ne représente pas un risque, au contraire. La valeur d'une technologie dépend de ses applications possibles. Un modèle d'une grande virtuosité technique, dépassant les limites actuelles, mais qui ne serait pas fiable et prédictible, ne servirait, concrètement, à rien. Quand la France, par la voix de son ministre de l'économie, plaide pour l'innovation avant la régulation, elle risque de faire le jeu des investisseurs étrangers, tels que Schmidt, NVIDIA, Microsoft, Greylock Partners ou Andreessen Horowitz, qui s’attèlent à confondre "souveraineté", soit notre liberté d’établir nos propres règles du jeu, et "dérégulation pour l'innovation", tout en prenant possession des joyaux Européens de la tech. Il faut réguler pour ne pas dépendre uniquement de l’étranger (Chine, États-Unis) dans un secteur aussi stratégique. En France, nous n'avons pour l'instant ni le marché de capitaux ni les ressources technologiques pour avancer avec des acteurs nationaux, qui tombent donc aux mains de ces investisseurs.La France apparaît plus libérale que le Royaume-Uni. Comment expliquer ce paradoxe ? Quelle est la spécificité des positions françaises ? La France, jusqu’au mois de mai dernier, était pionnière dans la régulation du monde digital : l'Appel de Christchurch pour supprimer les contenus terroristes et extrémistes violents en ligne, en mai 2019, avait été initié par le Président Emmanuel Macron et la Première Ministre néo-zélandaise, Jacinda Ardern, la France avait aussi lancé un Appel de Paris pour la sécurité du cyberespace dans le cadre de l'Alliance pour le Multilatéralisme en décembre 2018, et Jean-Noël Barrot, ministre délégué chargé du Numérique, s'est montré proactif et a revu à la hausse les exigences de l'Union européenne en matière d'IA à usage général lors des négociations de l'Artificial Intelligence Act de mai 2022. Un an plus tard, c'est le monde à l'envers : changement total de position, qui a frustré tous les législateurs du Parlement Européen et la plupart des États Membres, culminant en une rupture des négociations la semaine passée, heureusement temporaire. Le problème est que les entreprises de la tech américaine ont une forte emprise sur nos licornes nationales, lesquelles bénéficient d'un lien très fort avec le gouvernement. Cela se fait au détriment de nos champions industriels verticaux, qui ont recours aux IA mais dont ce n’est pas le secteur d’activité : toute la responsabilité légale risque de leur incomber sous la pression du secteur de la tech. Dans la continuité du sommet de Bletchley Park, de nouveaux sommets seront organisés : dans un an en France, et, à échelle plus réduite, dans 6 mois en Corée du Sud. Quel est l'agenda de ces prochaines manifestations ? Comment la France devrait-elle se positionner selon vous ? L'agenda est encore inconnu. La France devra montrer que les déclarations ne sont pas des mots vides et qu'on peut agir concrètement pour mitiger les risques -présents et futurs- d’abus et de perte de contrôle de cette technologie. La possibilité de faire émerger un grand acteur européen voire français, apte à concurrencer les entreprises américaines, vous semble-t-elle réaliste ? Quels seraient nos atouts industriels pour cela ? Quels sont les grands éléments à considérer pour mener une politique industrielle vraiment ambitieuse en France et en Europe ?L'IA américaine a déjà un certain monopole sur l'IA de basse qualité. Néanmoins, le marché de l'IA de confiance reste à prendre. Les industriels attendent encore une montée en qualité et robustesse de l'IA avant d'y avoir recours. C'est là l'opportunité que la France doit saisir. Donc si on veut faire émerger un acteur, il pourra se différencier et être organiquement plus compétitif sur l'IA de qualité. C'est tout à fait possible : la compétition de l'Europe avec les robotiques chinoise et japonaise a fonctionné parce qu'on a bien régulé le secteur. Pour l'instant, on dépend encore des États-Unis pour le hard et le software, de même que l'on dépend des investisseurs américains pour financer nos start-up.Il faut mettre en place une politique industrielle qui encourage une digitalisation européenne faite par les Européens.L'IA américaine a déjà un certain monopole sur l'IA de basse qualité. Néanmoins, le marché de l'IA de confiance reste à prendre.La France dispose par ailleurs de nombreux champions dans les secteurs verticaux, comme Bouygues ou Michelin. Ils attendent avec impatience que la technologie de pointe réponde à leurs besoins de qualité et de fiabilité. Il faudra donc favoriser la capacité d'absorption de l'IA par ces secteurs. Cela peut passer par :Harmoniser le marché unique des capitaux ; un petit mais important pas dans cette direction consiste à établir une feuille de conditions ("term sheet") pour standardiser les relations entres investisseurs et start-ups dans les 27 États membres. Moderniser le marché de l'emploi, pour répondre au mieux aux besoins des start-ups et des employés qui souhaitent prendre le risque de travailler dans une start-up.Disposer d'une forte place financière. On manque de capitaux européens, surtout dans le capital-risque, et l'on dépend beaucoup trop des investisseurs américains qui n'acceptent de fournir des fonds qu’à la condition qu'à terme, la start-up soit intégrée aux États-Unis. Il faut que l'Europe redevienne un haut lieu des introductions en bourse. Cela pourrait se faire, par exemple, en mobilisant un peu plus de capitaux venant des fonds d’assurance. Le rapport "Future of jobs" du Forum économique mondial (WEF), publiée ce 1er mai, prévoit que 69 millions d’emplois soient créés durant les cinq prochaines années mais que 83 millions soient détruits, soit 2 % des emplois actuels. Les risques représentés par l’IA sont-ils avérés ? Quelles politiques seraient aptes à éviter le remplacement du travail humain par l’automatisation des tâches ? Ce sont des approximations selon des modèles très incertains mais ces chiffres sont probables. Si l’on regarde la révolution industrielle, on constate que le taux d'emploi a augmenté mais uniquement après une période de transition de 120 ans, durant laquelle des emplois ont été détruits et des degrés de productivité très inégaux ont coexisté, au détriment, évidemment, des acteurs les moins performants. Il n'y aura pas de migration automatique des compétences et le marché de l'emploi n'est pas liquide. On observera donc des perturbations assez fortes.Il n'y aura pas de migration automatique des compétences et le marché de l'emploi n'est pas liquide. On observera donc des perturbations assez fortes. L'Europe bénéficie d'un filet de sécurité sociale performant mais les États-Unis ou la Chine vont massivement en pâtir. Comment anticiper ? Aujourd'hui, notre système fiscal pénalise le travail, au prétexte que le capital peut fuir facilement. Or, il faudrait réduire les taxes sur l'emploi et commencer à augmenter les taxes sur les autres facteurs de production. Par exemple, l'imposition d’une taxe pour les entités développant des modèles de pointes régis par l'acte IA. Ou bien taxer la fortune des investisseurs du secteur digital ou taxer la puissance de calcul d'Amazon, de Microsoft Azur etc. pour chaque pétaflop d'opérations réalisées. Une taxe progressive permettrait de redistribuer la puissance de calcul au profit de l'émergence de nouveaux acteurs (utilisant moins de calcul) et donc d'une baisse des coûts pour les utilisateurs. Aujourd'hui, une poignée d’acteurs seulement accaparent la plupart de la puissance de calcul pour l'entraînement d'IA de pointe, et incluent Google, Google DeepMind, Anthropic, OpenAI, Microsoft, Meta et Inflection AI - la plupart (à part Meta) liées les unes aux autres par des investissement et partenariats. Les bénéfices ainsi obtenus permettraient de couvrir les besoins nouveaux en matière de sécurité sociale et d'assurance chômage pour les êtres humains remplacés par l'AI. Cette taxation du calcul est très difficile à mettre en place car, pour être efficace, il faudrait qu'elle soit internationale et décidée au niveau de l'OCDE. Quels pourraient être les usages industriels, en dehors de l'univers de la tech, de l'IA ? Les professionnels des différents secteurs touchés sont-ils prêts à intégrer les changements et facilités induits par les progrès de l'IA ? Le secteur est prêt à intégrer l'IA du moment que les systèmes sont fiables à long terme. Les entreprises peuvent se fier sur leurs ressources humaines quand elles sont bien formées et se projeter sur une dizaine d'années. Si les mises à jour font changer les comportements des systèmes de l'IA tous les six mois, automatiser les tâches ne sera pas tellement utile.Dès lors que les industriels disposeront de garanties de robustesse et de fiabilité sur le long terme, ils pourront recourir aux IA : gestion des réseaux téléphoniques, véhicules autonomes et secteur des transports, machinerie à grande échelle avec des robots qui ne seront plus limités à trois ou quatre mouvements mais pourront intervenir sur toute la chaîne de production, interfaces ordinateurs/humains pour les services clients, domotique, développement des médicaments, optimisation agricole en fonction de la météo…Dès lors que les industriels disposeront de garanties de robustesse et de fiabilité sur le long terme, ils pourront recourir aux IA.Les cas d'usage sont infinis. Les IA deviennent si générales qu’on ne peut plus les lister et leurs modèles, de plus en plus généraux, peuvent nous faire parvenir à des objectifs connus d’une manière très créative qui laissera imaginer de nouveaux objectifs et usages pour l'instant hors d'accès. Propos recueillis par Hortense Miginiac Copyright Image : Joe Giddens / POOL / AFPImprimerPARTAGERcontenus associés 02/11/2023 Hauts risques et forts impacts : réguler l'IA Nicolas Moës 31/08/2023 L'IA de confiance n'est rien d'autre qu'un développement durable Hamilton Mann