IA & Prospective : se projeter quand l'impensable devient possible

Sommes-nous en bonne voie pour nous saisir pleinement des enjeux inédits posés par l’IA ou allons-nous manquer la cible ? À la lecture de la Loi de Programmation Militaire 2024-2030 et sans précision empirique sur les choix qui seront faits en pratique, cette question reste en suspens. Il s'agit d’un véritable sujet de gouvernance qui dépasse le périmètre du Ministère des Armées mais la LPM, comme porte d’entrée, nous apporte un éclairage certain.

Dans ce texte, l’intelligence artificielle est mentionnée à quelques reprises. On la retrouve parmi les domaines sur lesquels il faut "anticiper les sauts technologiques", comme un champ où il est nécessaire de ne pas "chercher à rattraper un retard" mais plutôt d’"assumer des paris", ou encore en tant qu’"outil pour améliorer les services du ministère". Personne ne peut être en désaccord avec ces formules, mais derrière ces mots demeure une infinité de possibilités et de choix qui nous mèneront dans des directions différentes.

Dans un édito présentant les grandes orientations de cette loi à venir, le ministre de la Défense a bien identifié la particularité conjoncturelle. Selon lui, l'objectif pour la France est clair : "faire face aux nouvelles menaces qui pèsent sur elle, et maintenir son rang parmi les premières puissances du monde".

In fine, ce qui déterminera la pertinence de nos choix dépendra de la qualité de la prospective et de notre capacité à intégrer le caractère systémique des risques. Pour rappel, 36 % des chercheurs interrogés dans l’enquête du AI Index Report 2023 de Stanford estiment que des décisions prises par des modèles d’IA à usage général pourraient conduire à une catastrophe nucléaire. 69 % des américains s’inquiètent des enjeux pour la société dans son ensemble.

Agir à la hauteur des ambitions est essentiel. En ce sens, il est indiqué qu'un montant de 413 milliards d'euros versé sur 7 ans irriguera l'ensemble des besoins de nos forces armées en "renforçant les fondamentaux", en adaptant les outils existants et en se positionnant sur des "technologies clés" tout en se souciant des "forces morales". Pour autant, sur l’IA, et plus particulièrement l’IA à usage général, les informations sont minces et les détails absents. 10 milliards dans l’innovation ? Assurément. Mais quelle innovation précisément ?

Le premier type d’innovation possible, c’est celui qui vise à aller plus loin, plus vite et plus fort que les concurrents. Le rapport Innovation de Défense de l’Institut Montaigne décrit l’importance de l’innovation et explique en quoi le déclassement peut parfois mener à de plus grands dangers technologiques futurs. Pour autant concernant l’innovation en IA, la vitesse des évolutions ne cesse de croître impliquant une prise de risque, un temps d’analyse moindre, et un accroissement de la probabilité de se retrouver piégé par le biais du coût irrécupérable, comme nous l’avons historiquement vécu avec le Concorde.

Les différentes mesures visant à restreindre l’export de processeurs, indispensable pour entraîner des modèles d’IA, vont dans ce sens. Si l’on descend au niveau interentreprises, on remarque que celles-ci entretiennent également des rivalités certaines en cherchant à construire des modèles qui viendront détrôner les autres ou en adoptant des stratégies non-compatibles. Quand Google essaie d’avoir une politique plus conservatrice quant à la diffusion de la technologie, OpenAI rend ChatGPT disponible au grand public et Meta fait la promotion ouverte de l’Open Source. Les trois tentent de conserver ou de s’approprier les parts du gâteau au détriment des autres.

En descendant encore d’un niveau, il est à noter que les dirigeants de ces grands groupes ont également des antécédents et sont parfois rivaux sur le plan personnel. Elon Musk a participé à hauteur de 100 millions de dollars dans le développement d’OpenAI puis s’est retiré en 2018 en posant un ultimatum à Sam Altman, l’actuel CEO. Soit il acceptait de laisser la main à Elon Musk, soit celui-ci se retirait complètement, et avec lui le milliard de dollars initialement promis. Refusant de courber l'échine face à Elon Musk, Sam Altman a su séduire le concurrent en lice Microsoft, aussitôt venu investir le milliard désiré par OpenAI. Dernièrement, cette compétition entre leaders est devenue particulièrement visible avec la création de l'entreprise xAI par Elon Musk dont l’un des objectifs est de concurrencer Sam Altman et son entreprise OpenAI. Ces batailles opèrent de la même manière dans le recrutement puisque une bonne partie des équipes techniques ont été harponnées directement chez la concurrence. La course est ainsi installée à toutes les échelles, étatiques, entre entreprises, et interindividuelle, participant ainsi à l’accélération et l’amplification des investissements. Cette configuration ne serait pas particulièrement problématique s’il n’y avait pas dans la balance le futur de nos sociétés. Tous ont envie de mener la danse et les tensions entre compétition-coopération-confrontation sont bien palpables.

Cette innovation de course, dans ce contexte précis, n’est donc pas satisfaisante puisqu’elle n’apporte aucune solution aux trajectoires délétères actuelles. Elle ne nous place pas en position stratégique pour réduire les tensions et ne nous donne pas non plus l’avantage dans les mondes contrefactuels où la défaite n’est pas générale (ici, être premier peut mener à l’apoptose). Au contraire, elle peut accélérer la course et la différence de moyens qui nous séparent des "concurrents" (USA, Chine) étant tels que l’écart relatif ne ferait que s’agrandir si l’on n’inclut pas des manières de peser pour infléchir la direction vers des segments stratégiques où nous sommes particulièrement forts - comme la sûreté - notamment par des approches différenciées. Ainsi, avant de tout miser et risquer de tout perdre, encore faut-il avoir évalué les alternatives à notre disposition.

Lorsque la vitesse de changement se joue à l’échelle mensuelle plutôt que décennale, il devient mission impossible d’imaginer de quoi sera composé le futur tant le potentiel transformatif de l’IA est immense. Ce qui est sûr, c’est que cette incertitude doit, de manière tout à fait pragmatique, être considérée comme un risque supplémentaire.

Les modèles d’IA étaient jusqu’à récemment très spécialisés ou mono-tâches, pour détecter des tumeurs à partir d’imagerie médicale ou pour remporter des parties de jeu de plateau en ligne. Si la recherche continue d’investir dans le développement de modèles de ce type, il semblerait que le seul danger majeur posé par ces IA dites "étroites" dépendent du cas d’usage et de l’application qui en est faite. C’est notamment le cas vis-à-vis des systèmes critiques - compris comme des systèmes dont les dysfonctionnements peuvent directement engendrer des conséquences dramatiques en termes de morts ou de blessés graves (transports, santé, énergie, etc.). Ces risques semblent bien connus et considérés en France car plusieurs acteurs industriels se sont saisis du sujet, notamment via Confiance.ai, un collectif d’acteurs académiques et industriels français.

Au fil des 5 à 10 dernières années sont apparus des modèles d’IA de moins en moins spécifiques et toujours plus polyvalents. Cette montée en généralité est essentiellement permise par l’émergence des architectures transformers pour le traitement du langage. L'idée principale derrière les transformers n’est autre que d’utiliser les relations existantes entre les mots en se basant sur l'ensemble du contexte plutôt que de se limiter à un mot fixe. Ce faisant, les modèles disposent d’une meilleure compréhension du sens global d'une phrase. Les transformers utilisent des mécanismes appelés "attention" pour y parvenir, donnant les moyens de se concentrer sur différentes parties de la phrase lorsqu'il traite chaque mot (ou différente partie du contexte lorsqu’il s’agit de données autres que des mots). C’est grâce à ce fonctionnement que les relations entre mots peuvent être prises en compte. La capacité à considérer un plus grand contexte, et donc à affiner la compréhension des relations entre les mots dépend ensuite de l’accès à davantage de puissance de calcul combiné à de quantités massives de données. Les IA apprenantes parviennent dès lors à réaliser des tâches de plus en plus larges et diverses. C’est le cas de Gato, le modèle développé par DeepMind, qui est en mesure de réaliser plus de 600 tâches variées, de la robotique aux jeux vidéos, en passant par la maîtrise de la conversation.

D’autres publications ont montré qu’à partir de Large Language Models (LLM), il était possible de rendre un modèle "agentique", c'est-à-dire que nous attribuons un objectif au modèle et celui-ci planifie puis réalise des actions pour y parvenir. Ces IA, via cette agentivité, sont de véritables "planificateurs autonomes" et aujourd'hui, nous savons déjà qu’ils peuvent imaginer des expériences de chimie et les réaliser en utilisant les machines disponibles dans un laboratoire, automatiser la conception et l’envoi de cyber attaques à large échelle en créant des virus informatiques polymorphiques, ou encore aider à la détection de failles cyber. Plus récemment, un chercheur en biosécurité du MIT a tenté de vérifier si ces LLM (GPT-4, Bard ou d’autres chatbot) pourraient aider des individus sans bagage technique et munis d’intentions malveillantes à initier la prochaine pandémie. Il conclut que oui, et cela n’a rien de surprenant quand on sait à quel point des entreprises parviennent déjà à automatiser une bonne partie du travail en laboratoire dans des "cloud labs" où la supervision humaine est facultative. Même si les modèles sont encore limités en capacité, leur sécurité algorithmique restera contournable tant que plusieurs problèmes techniques clés ne sont pas résolus. Et pour certains, nous ignorons s'ils sont résolubles.

Le laboratoire automatisé d’Emerald Cloud Lab dans le sud de San Francisco, Californie. Copyright : Emerald Cloud Lab

Ces points de vigilance présentés à titre illustratif ne constituent qu’une partie des problèmes qui viennent s’ajouter aux plus connus comme les biais, la désinformation ou les dangers imputables aux algorithmes. Mais bien au-delà de ces exemples, ce qui inquiète davantage, c’est la démocratisation de ce potentiel de nuisance à large échelle par l’accessibilité de la technologie. La Red Team Défense, qui participe à la prospective pour anticiper des évolutions sources de conflictualité à Horizon 2030-2060, a identifié une partie du risque posé par un accès large à une technologie qui permettrait de faire de la biologie avancée chez soi. Hélas, ces anticipations restent sous-évaluées tant qu’elles ne s’inscrivent pas dans un cadre plus systémique. Plus l’intelligence artificielle est capable et générale, plus elle est utile aux humains et s’imprègne dans tous les pans de la société. Quand la rapidité, le gain en performance et l’augmentation de la productivité donne un avantage concurrentiel, les entités qui ne suivent pas sont écartées progressivement, que cela soit intentionnel ou non.

S’agissant des laboratoires où sont étudiés les pathogènes les plus dangereux pour les humains (les P2, P3 ou P4 désigne le niveau de pathogénicité des micro-organismes manipulés et stockés dans le laboratoire), les matériaux employés sont plutôt encadrés, surveillés et contrôlés. Il en va de même pour accéder à de l’uranium enrichi et aux outils qui permettent de construire des arsenaux nucléaires, et ce, pour le bien de tous.

Dit autrement, un ordinateur, une connexion internet et une poignée d’êtres humains disposant de quelques neurones fonctionnels peuvent suffire. Le côté ouvert de la technologie a des aspects très positifs, à condition que ces modèles soient intrinsèquement robustes et sûrs. À l’heure actuelle, il n’est pas exclu que dès demain, avec des modèles d’IA encore plus performants et généraux, la technologie soit aisément accessible à des pays ennemis, des entités terroristes, des groupes malveillants voire des individus isolés.

Le risque de mésusage est bien réel et mérite d’être traité, mais quid du risque accidentel ? Pour en saisir les contours, il nous faut avant tout sortir du paradigme du contrôle, selon lequel chaque instant sans accident traduit notre capacité à maîtriser, contrôler et encadrer la technologie. Cette conception courante requiert des efforts intellectuels particulièrement proactifs car, par défaut, nous avons tendance à associer l’absence d'événement comme une conséquence de notre bonne compréhension (ou action) en sous-évaluant le poids des facteurs exogènes. Ces modèles restent avant tout des boîtes noires puisque nous sommes ignorants et incertains de la manière dont ils fonctionnent effectivement. Et contrairement à l’explosion d’une bombe nucléaire où la zone d’impact est limitée par des contraintes physiques, contrairement à la circulation d’un pathogène qui suit des lois modélisables nous donnant une indication du nombre maximal de personnes touchées avant les effets d’immunités collectives, nous ne disposons d’aucune borne supérieure qui pourrait nous indiquer une quantité de dégâts maximum que pourrait potentiellement causer l’intelligence artificielle.

Nous sommes exposés à un risque de mésusage. Le risque accidentel est concevable. Nous n’avons aucune idée de borne supérieure indiquant une quantité de dégâts maximale. Rejoindre la course semble être une stratégie perdante dès que l’on considère l’ampleur de la menace. Ceci étant dit, compte tenu des questionnements inédits qui émergent quant à l’IA, quelle autre forme d’innovation pouvons-nous envisager ?

L’innovation technologique en matière de défense doit aussi bien intégrer le caractère dual et l’usage malveillant qui peut en être fait que le risque accidentel et la grande accessibilité de ces outils. Mais cela n’est qu’une partie d’un tout. Les évolutions de l'IA soulèvent des enjeux de sécurité et de défense indéniables - la LPM commence à en tenir compte - mais il semblerait qu’il faille adopter une approche bien plus large tant le besoin est transversal et interministériel voire transministériel.

Cette approche semble aller dans le bon sens, mais elle est encore trop restreinte. Le caractère socio-technique des menaces requiert des expertises multiples, des approches globales et systémiques. Serait-il temps d’innover dans la manière de penser la prospective, essentielle à la gouvernance, à l’heure où les certitudes s'amenuisent et la complexité grandit ? Faut-il innover plus largement et plus profondément en allant jusqu'à repenser notre manière de gouverner la technologie ? Très probablement. À l’issue d’une réflexion ontologique pour déterminer ce que nous voulons être, il ne tiendra qu’à nous d’arbitrer en conséquence, avec les renoncements assumés que cela incombe.

Copyright Image : Fabrice COFFRINI / AFP

Cette photographie prise le 5 juillet 2023 montre une pancarte du Sommet mondial AI for Good de l'Union internationale des télécommunications (UIT) à Genève.