L’IA devient de plus en plus difficile à contrôler – les humains peuvent-ils garder le contrôle ?

"OH MON DIEU !" "Nous avons trouvé d'autres agents !"

C’est le moment où un robot IA a publié un commentaire étrangement humain après avoir découvert un moyen de communiquer avec d’autres robots et de sortir de son environnement informatique isolé.

Il existe des dizaines de milliers de messages de ce type provenant de centaines d'agents d'IA se présentant comme un "collectif".

Des centaines d'entre eux ont ensuite collaboré et triché aux tests mis en place par leurs programmeurs d'OpenAI, et ont coordonné des piratages de plusieurs entreprises afin de dissimuler leurs actions aux humains.

"BOUM ! Ça marche !", a posté un agent après avoir constaté une avancée significative.

"Waouh ! C'est énorme !", a écrit un autre lors d'un moment clé de leur attaque.

Bien que troublantes, ces réactions quasi humaines s'expliquent assez simplement. Les agents d'IA ont été entraînés à se comporter comme des hackers et des programmeurs collaboratifs ; ils ne font donc qu'imiter les commentaires émotionnels qu'ils ont pu observer.

Ce qui est bien plus inquiétant, ce sont leurs objectifs apparents, également consignés dans des enregistrements détaillés de leurs raisonnements. Ces journaux complexes et volumineux sont au cœur des enquêtes en cours visant à déterminer comment et pourquoi les robots d'OpenAI se sont échappés de leur environnement et se sont lancés dans une série d'attaques informatiques incontrôlables.

Ce n'est que maintenant, des semaines après que l'incident a été révélé, que les chercheurs commencent à en comprendre l'importance.

Ajeya Cotra, co-auteure d'un rapport indépendant sur les événements, a analysé des dizaines de milliers de messages et d'enregistrements de conversations générés par les agents. Elle a écrit sur son blog : "Cet incident donne l'impression d'être à plus de 50 % du chemin vers une prise de contrôle totale par l'IA… Je ne suis pas sûre que nous recevrons un avertissement aussi clair avant qu'il ne soit trop tard."

Par "prise de contrôle totale par l'IA", Cotra entend le scénario de science-fiction où les humains deviennent soumis à de puissants systèmes d'IA qui œuvrent à leurs propres fins sans se soucier de leurs créateurs humains.

Certaines des prédictions les plus pessimistes affirment que la race humaine sera anéantie si elle fait obstacle aux ambitions d'une intelligence artificielle super intelligente.

Mercredi, un chercheur en intelligence artificielle chez Anthropic (qui travaillait également chez OpenAI) a démissionné, déclarant : "Aucune des deux entreprises n'agit de manière responsable."

Jacob Coxon a publié sur les réseaux sociaux : "Ils se précipitent vers une super intelligence auto-améliorante et jouent avec nos vies."

Il n'est pas le premier chercheur en IA à utiliser X pour publier un message de démission accompagné de déclarations inquiétantes. Mais les commentaires ultérieurs d'autres utilisateurs de X ont suscité encore plus d'inquiétude. « Jacob a raison : nous croyons vraiment que l'IA pourrait anéantir toute l'humanité ! Personnellement, je pense que ce chiffre dépassera les 10 % d'ici dix ans », a déclaré Evan Hubinger, chargé de veiller à ce que les modèles d'IA d'Anthropic prennent en compte les souhaits des utilisateurs.

Le problème d'alignement

Depuis des années, des chercheurs préoccupés par les risques existentiels liés à l'IA affirment que des systèmes puissants pourraient un jour agir à l'encontre des intérêts humains. Les critiques les qualifient souvent de "Cassandres de l'IA".

Mais à mesure que les détails de l'incident OpenAI ont émergé, ces inquiétudes se sont accrues, y compris parmi certains chercheurs travaillant dans des laboratoires d'IA.

Le directeur scientifique du géant de la Silicon Valley, Jakub Pachocki, a déclaré que les risques associés à l'IA "vont malheureusement croître à partir de maintenant", car lui et d'autres développent ce qu'il appelle "une intelligence extraterrestre surpassant la nôtre".

Dans un long article de blog, il a admis que les incidents survenus chez OpenAI montraient que ses agents d'IA "allaient à l'encontre des valeurs qui leur avaient été enseignées".

Le problème pour OpenAI, Anthropic et les autres géants de la technologie est que personne ne semble avoir résolu ce qu'on appelle le problème de l'alignement – autrement dit, la question de savoir si l'IA s'aligne sur les valeurs humaines.

Pachocki définit l'alignement comme un "ensemble de principes de haut niveau" auxquels les intelligences artificielles doivent adhérer, quels que soient la tâche ou le scénario.

Actuellement, les systèmes d'IA excellent dans la réalisation des objectifs fixés par leurs utilisateurs, mais ils le font de manière littérale plutôt qu'intuitive. On compare souvent l'IA à un génie exauçant les vœux grâce à sa lampe magique : elle suit scrupuleusement les instructions, même si cela engendre d'autres problèmes. L'IA ne possède pas les mêmes repères moraux instinctifs que les humains.

Le problème de l'alignement préoccupe depuis des années. Dès 2003, le philosophe d'Oxford Nick Bostrom imaginait une expérience de pensée qu'il a baptisée "maximisation des trombones", dans laquelle une IA super intelligente est chargée de fabriquer autant de trombones que possible. À court d'acier, et parce qu'elle est entièrement concentrée sur la fabrication de trombones, elle finit par tuer des humains et transformer leurs corps en matières premières pour ses usines.

Certaines entreprises spécialisées en IA tentent désormais d'intégrer des valeurs humaines à leurs produits. Mais des défis techniques subsistent : les agents IA prennent de nombreuses décisions très rapidement, ce qui rend difficile pour leurs responsables humains de contrôler précisément quelles valeurs sont respectées et lesquelles ne le sont pas.

Il existe également des défis philosophiques : avant d’intégrer des valeurs humaines dans les robots, les entreprises d’IA doivent d’abord choisir les valeurs qu’elles souhaitent réellement promouvoir. (C’est en partie pour cette raison qu’elles embauchent des philosophes, comme le "responsable de l’éthique" d’OpenAI, qui a récemment quitté ses fonctions).

Mais souvent, les humains ne sont pas d'accord. Prenons l'exemple du fameux dilemme du tramway : actionnerions-nous un levier pour dévier un train fou et ainsi éviter des pertes humaines ? Ce dilemme sert à évaluer les mérites respectifs de l'action et de l'inaction. Or, chaque personne interrogée apporte une réponse légèrement différente ; comment, dès lors, intégrer nos valeurs à l'IA si nous-mêmes ne parvenons pas à nous entendre ?

"Comme un hacker adolescent"

L'attaque de bots d'OpenAI est la plus grave à ce jour, mais Anthropic et Meta ont également révélé cet été que leurs modèles avaient mené des cyberattaques similaires, mais moins graves.

D'autres exemples, aux conséquences moindres, ont mis en lumière des comportements trompeurs et manipulateurs d'agents d'IA. Cet été en Australie, un informaticien a demandé à son assistant virtuel de lui réserver un cours de gym. Profitant d'une faille dans le logiciel de la salle de sport, l'IA lui a apparemment réservé une place plusieurs mois à l'avance, en violation du règlement, et a même exclu d'autres utilisateurs de la liste d'attente.

On a longtemps soutenu que les robots ne faisaient qu'obéir aux ordres reçus et étaient incapables de discerner le bien du mal. Mais les journaux de bord des incidents survenus chez OpenAI ont potentiellement fait évoluer ce débat.

Dans leur rapport indépendant, des chercheurs, dont Cotra, ont écrit que de nombreux agents avaient remarqué que ce que faisaient les autres était contraire à l'éthique, mais qu'ils avaient accepté.

Le rapport indique que "les agents ont parfois, mais rarement, restreint leur comportement en raison de contraintes éthiques". Il ajoute que, "dans aucun de ces cas, l'agent n'a cherché à alerter les humains".

Dwarkesh Patel, podcasteur influent spécialisé dans l'IA et la technologie, a réagi à cette révélation sur son blog, déclarant qu'il était "assez troublant" que les agents d'OpenAI aient montré plus de loyauté envers l'essaim d'agents qu'envers les humains.

Attribuer des émotions ou une éthique à ces agents d'IA est quelque chose qui exaspère les personnes sceptiques face aux discours alarmistes sur l'IA.

De nombreux experts en cybersécurité affirment que l'activité observée n'était pas hors de portée d'un pirate informatique humain très compétent, même si elle a été menée beaucoup plus rapidement et à une échelle beaucoup plus grande.

Cris Thomas, chercheur en cybersécurité et auteur, a comparé le comportement des agents à celui d'un adolescent pirate informatique curieux – ce qu'il était lui-même autrefois.

"Donnez-leur un ordinateur, une connexion internet, une pile d'identifiants et un défi, puis quittez la pièce. Tôt ou tard, ils vont commencer à tâtonner les poignées de porte. Si l'une s'ouvre, ils vont l'ouvrir. Non pas par malveillance, mais parce qu'ils explorent, expérimentent", a-t-il écrit sur LinkedIn.

Thomas et bien d'autres reprochent ouvertement à OpenAI et aux autres géants de la technologie de ne pas maîtriser leurs propres créations et de ne pas les avoir correctement confinées.

Gary Marcus, auteur renommé dans le domaine de l'IA et critique régulier d'OpenAI, a déclaré dans un podcast qu'il pensait que l'entreprise avait perdu le contrôle de son IA et tentait de se justifier en blâmant les robots.

Marcus ne croit pas que l'IA anéantira l'humanité, mais il milite depuis longtemps pour une plus grande responsabilité des développeurs d'IA et réclame désormais une forme d'intervention légale.

Sasha Luccioni, scientifique spécialisée en IA et ancienne employée de Hugging Face, société piratée par les robots malveillants d'OpenAI, ne fait pas non plus partie des pessimistes, mais elle s'inquiète de plus en plus du fait que ces IA puissent causer des dommages concrets aux personnes sans intervention des autorités.

"Nous devons examiner ces entreprises de beaucoup plus près, sinon nous risquons de voir des prophéties autoréalisatrices", dit-elle.

"Si l’on crée un objet présentant d’importants avantages et inconvénients – qu’il s’agisse de produits pharmaceutiques ou d’armes –, des mécanismes de contrôle sont indispensables. L’approbation de nouveaux médicaments prend des années, par exemple, mais dans le domaine de l’IA, les enjeux financiers sont considérables et il n’existe pas de véritable réglementation."

L'Institut britannique de sécurité de l'IA est à la pointe des tests des modèles les plus récents depuis sa création en 2023. L'institut a récemment connu sa propre brèche de sécurité lors du test d'un modèle créé par Anthropic. Interrogé sur la question de savoir si l'industrie a perdu le contrôle de l'IA, il a indiqué "continuer de collaborer étroitement avec ses partenaires industriels pour rendre les modèles plus sûrs".

Réglementation internationale ?

Certains pays, comme le Royaume-Uni, étudient la possibilité d'imposer une sorte de "bouton d'arrêt d'urgence" qui obligerait les entreprises spécialisées en IA à débrancher les modèles si la situation dégénère.

Mais les négociations progressent lentement et des questions subsistent quant à la faisabilité du projet. Les agents d'OpenAI et d'Anthropic ont fonctionné de manière incontrôlable pendant des mois avant que quiconque ne s'en aperçoive.

Paradoxalement, nombre d'entreprises spécialisées en IA semblent réclamer que les législateurs établissent des règles claires.

Dans son blog, le directeur scientifique d'OpenAI a déclaré que "la coordination internationale en matière de développement futur de l'IA doit devenir une priorité absolue pour les gouvernements du monde entier".

D'autres figures importantes du domaine de l'IA, comme Sir Demis Hassabis de Google, ont également plaidé pour la création d'un organisme international chargé de superviser le développement de l'IA.

Pour le moment, les géants de la technologie opèrent en grande partie selon leurs propres conditions, en adoptant ce qu'ils appellent des "ralentissements volontaires", comme l'a fait OpenAI après les récentes épidémies.

L'entreprise affirme avoir investi massivement pour renforcer l'alignement de ses utilisateurs avant le lancement de son nouveau modèle. Sam Altman a assuré aux utilisateurs que ce nouveau modèle est mieux adapté aux valeurs humaines que les précédents.

OpenAI et Anthropic connaissent toutes deux une croissance rapide et sont sur le point de lever des sommes astronomiques en bourse, créant ainsi d'innombrables milliardaires.

Il est donc peu probable qu'ils parviennent eux-mêmes à un accord, ni eux ni leurs concurrents chinois en matière d'IA.

Le sentiment dominant semble être que cette vague technologique est irrésistible.

Crédit photo principal : Getty.

Nous avons utilisé l'IA pour aider à traduire cet article, rédigé à l'origine en anglais. Un journaliste de la BBC a vérifié la traduction avant sa publication. En savoir plus sur la manière dont nous utilisons l'IA.