Asilomar AI: Superintelligence Panel 30 janvier 2017 Musk rejoint Bostrom, Hassabis, Kurzweil, Russell et Harris sur un panel du Future of Life Institute débattant des risques et du calendrier d'une IA superintelligente.
Musk rejoint Bostrom, Hassabis, Kurzweil, Russell et Harris sur un panel du Future of Life Institute débattant des risques et du calendrier d'une IA superintelligente.
Transcription Je vais poser une question à laquelle on ne peut répondre que par oui, non, ou c'est compliqué. Bon, commençons par ici. Une forme de superintelligence est-elle possible, Jaan ? Oui, non, c'est compliqué.
Panelist
oui, oui, oui, oui, oui, absolument pas.
C'était décevant. On n'a trouvé aucun désaccord. Essayons plus fort. Ce n'est pas parce que c'est possible que ça va effectivement arriver.
Tout à l'heure, j'ai demandé si la superintelligence est possible tout court selon les lois de la physique. Maintenant je demande : est-ce que ça va vraiment arriver ? Oui, non, ou c'est compliqué.
Panelist
Un peu compliqué, mais oui,
oui. Et si ça n'arrive pas, c'est que quelque chose de terrible s'est produit pour l'empêcher.
Panelist
C'est ce que je voulais dire.
Zut. Toujours pas de désaccord intéressant. Il faut essayer encore plus fort. Bon, vous pensez donc que ça va arriver, mais aimeriez-vous vraiment que ça arrive un jour ? Oui, non, ou c'est compliqué. Compliqué, compliqué.
Panelist
Oui, oui, c'est vraiment compliqué.
Panelist
Ça dépend de quel genre de…
Bon, ça devient un peu plus intéressant. Je crois qu'on a eu une très… Quand est-ce que ça va arriver ? Eh bien, nous avons déjà eu une discussion vraiment fascinante lors du panel de ce matin sur le moment où nous pourrions atteindre une IA de niveau humain. Ça donnerait en quelque sorte une borne inférieure, et pour gagner du temps… … je pense qu'on n'a pas besoin de ressasser la question de savoir quand le dépassement pourrait commencer. Mais posons une question très proche de celle qui vient d'être soulevée : si quelque chose commence à se produire, si on a une forme d'auto-amélioration récursive ou un autre processus par lequel l'intelligence des machines commence à décoller très, très vite, il y a toujours une échelle de temps associée, et là j'espère qu'on va enfin trouver de vrais désaccords sérieux à débattre. Certains imaginent un scénario où tout s'emballe d'un coup et où les choses se passent en quelques jours, quelques heures ou moins, alors que d'autres imaginent que ça arrivera mais que ça pourrait prendre des décennies, voire des milliers d'années. Donc si vous pensez à une sorte de temps de doublement, une échelle de temps approximative sur laquelle les choses s'améliorent radicalement, quelle échelle de temps avanceriez-vous, Jaan ?
Panelist
À partir de maintenant, ou à partir de l'IA de niveau humain ?
Non, non. Une fois qu'on atteint l'IA de niveau humain, ou un point un peu au-delà ou un peu avant, là où les choses commencent vraiment à décoller : quelle est l'échelle de temps ? Toute explosion, pour un physicien un peu geek, a une échelle de temps, n'est-ce pas ? Sur laquelle elle se produit. Parle-t-on de secondes, d'années ou de millénaires ?
Panelist
Je pense à des années, mais il est important d'agir comme si ce délai était plus court.
Oui, en fait je ne fais pas vraiment confiance à mon intuition ici. Mon intuition me dit qu'on parle d'années, mais je pense aussi que l'IA de niveau humain est un mirage. Elle va soudain être meilleure que l'humain. Mais quant à savoir si ce sera une véritable explosion d'intelligence rapide, je ne sais pas.
Je pense que ça dépend en partie de l'architecture qui finira par donner l'IA de niveau humain. Le genre d'IA inspirée des neurosciences qu'on semble construire en ce moment, qui doit être entraînée, acquérir de l'expérience et d'autres choses pour gagner des connaissances, là ce sera peut-être de l'ordre de quelques années, voire une décennie,
Panelist
un certain nombre d'années. Mais ça pourrait aussi être beaucoup moins. Mais je serais surpris que ce soit beaucoup plus. Oui, potentiellement des jours, ou moins. Surtout si ce sont des chercheurs en IA artificiels… … qui conçoivent des chercheurs en IA.
À chaque avancée de l'IA, on la balaie d'un revers de main. Oh, ce n'est pas vraiment de l'IA : les échecs. Le go, les voitures autonomes. Et l'IA, comme vous le savez, c'est le domaine de ce qu'on n'a pas encore fait. Ça continuera quand on atteindra vraiment l'IA générale. Il y aura beaucoup de controverse. Le temps que la controverse retombe, on se rendra compte qu'elle existe depuis quelques années.
Oui, je pense qu'on dépassera les capacités humaines dans beaucoup de domaines différents, mais pas dans tous en même temps. Ce sera donc un processus inégal, où certains domaines seront très avancés très vite, et le sont déjà dans une certaine mesure, tandis que d'autres prendront beaucoup plus de temps.
Je pense que si elle atteint un seuil où elle est aussi intelligente que l'humain le plus intelligent et le plus inventif, alors ça pourrait vraiment n'être qu'une question de jours avant qu'elle soit plus intelligente que toute l'humanité réunie.
On a donc vu ici un éventail de réponses assez intéressant. Et je trouve que c'est une question très intéressante, parce que, pour des raisons sur lesquelles plusieurs personnes ici ont publié des articles intéressants, l'échelle de temps fait une énorme différence. Si ça se déroule à l'échelle de la révolution industrielle, par exemple, c'est bien plus long que le temps qu'il faut à la société pour s'adapter et prendre des mesures pour orienter le développement, pour reprendre ta jolie métaphore de la fusée, Jaan. Alors que si les choses vont beaucoup plus vite que la capacité de réaction de la société, c'est beaucoup plus difficile à piloter. Et il faut un peu espérer avoir intégré un bon système de pilotage à l'avance. Par exemple, dans les réacteurs nucléaires, nous les physiciens un peu geeks aimons insérer des barres de graphite comme modérateurs pour ralentir les choses et peut-être même empêcher que ça devienne critique. Je suis curieux de savoir si l'un d'entre vous trouverait souhaitable que cette croissance de l'intelligence, qui vous enthousiasme globalement avec quelques réserves, se fasse un peu plus lentement, pour qu'il soit plus facile pour la société de continuer à la façonner comme nous le voulons. Et si c'est le cas, et c'est une question difficile, y a-t-il quelque chose qu'on pourrait faire maintenant, ou plus tard quand on s'en approchera, pour que cette explosion d'intelligence, ou cette croissance rapide de l'intelligence, soit tout simplement plus lente, afin d'avoir plus d'influence sur elle ? Quelqu'un veut-il se lancer ? Ce n'est pas tout le problème, mais quelqu'un qui…
Panelist
Ça me rappelle la conversation qu'on a eue avec Rich Sutton à Porto Rico. On avait beaucoup de désaccords, mais on pouvait au moins s'accorder sur le fait que lent vaut mieux que rapide.
Des idées sur la façon de ralentir un peu les choses ?
Eh bien, la stratégie que j'ai suggérée dans mon exposé était un peu ironique, mais elle était aussi sérieuse. Je pense que cette conférence est formidable, et en tant que technologues, nous devrions tout faire pour que la technologie reste sûre et bénéfique. Bien sûr, pour chaque application spécifique, comme les voitures autonomes, il y a toute une série de questions éthiques à traiter. Mais je ne pense pas qu'on puisse résoudre le problème uniquement par la technologie. Imaginez qu'on ait parfaitement fait notre travail et créé l'IA la plus sûre et la plus bénéfique possible, mais qu'on ait laissé le système politique devenir totalitaire et malfaisant. Soit un gouvernement mondial malfaisant, soit même seulement une partie du globe qui l'est. Dans ce cas, ça ne va pas bien finir. Une partie du combat se joue donc sur le terrain de la politique et des politiques sociales, pour que le monde reflète les valeurs que nous voulons atteindre. Parce qu'on parle d'IA de niveau humain. Une IA de niveau humain est par définition au niveau humain, et donc humaine. Et donc la question de savoir comment rendre les humains éthiques est la même que celle de savoir comment rendre éthiques des IA de niveau humain.
Oui. Si je comprends bien, avant d'approcher de l'IA de niveau humain, une très bonne façon de s'y préparer, c'est que nous, les humains, dans notre société, essayions de nous organiser au mieux et de faire en sorte que le monde fonctionne avec plus de raison qu'aujourd'hui. C'est juste ?
C'est exactement ce que je dis.
Je veux aussi préciser à nouveau que, quand j'ai demandé ce que vous feriez pour ralentir les choses, je ne parle pas du tout de ralentir la recherche en IA maintenant. On parle simplement du cas où l'on arrive au point où l'on est très proche de l'IA de niveau humain et où l'on pense qu'il pourrait y avoir un développement très rapide : comment pourrait-on ralentir cette phase-là ?
Panelist
Une méthode serait de progresser plus vite maintenant, pour arriver plus tôt à ce point. Quand le matériel est moins développé, il y a moins de surplus de puissance matérielle disponible. Cependant, la vitesse actuelle des progrès en IA est une variable assez difficile à modifier beaucoup, parce que de grandes forces la poussent. Donc l'option la plus élastique est peut-être celle que j'ai suggérée dans mon exposé : faire en sorte que celui qui y arrive en premier ait assez d'avance pour pouvoir ralentir quelques mois, disons, et avancer lentement pendant la transition.
Eh bien, je pense qu'une chose qu'on peut faire, c'est presque du domaine de la vérification : construire des systèmes dont on peut prouver qu'ils ne recruteront pas de matériel supplémentaire ni ne reconcevront leur matériel, afin que leurs ressources restent fixes. Et je serais tout à fait content de rester plusieurs années à réfléchir sérieusement à la prochaine étape pour aller dans ce sens.
C'est trivial de copier un logiciel. Le logiciel se réplique lui-même, ça a toujours été le cas. Et je ne vois pas comment on pourrait l'empêcher.
Panelist
Je pense que ce serait formidable que ça aille lentement, mais il est très difficile de voir comment ça pourrait aller lentement, vu les énormes avantages du premier arrivé à la superintelligence. Le seul scénario où je vois que ça pourrait aller lentement, c'est celui où il n'y a qu'un seul candidat au rang de premier arrivé, qui peut alors s'arrêter et réfléchir. Ça plaide peut-être pour créer une société où l'IA est encadrée et unifiée, sans plusieurs acteurs concurrents.
Oui, Demis, ton collègue Shane Legg a mentionné qu'une chose qui pourrait beaucoup aider ici, ce sont des initiatives comme ce partenariat industriel, et un climat de confiance et d'ouverture entre les dirigeants. De sorte que s'il y a un moment…
… où, oui, ce scénario m'inquiète. Je crois avoir une assez grande confiance dans l'ingéniosité humaine pour résoudre ces problèmes si on a assez de temps. Les problèmes de contrôle et les autres questions sont très difficiles, mais je pense qu'on peut les résoudre. Le problème, c'est le problème de coordination : s'assurer qu'il y aura assez de temps pour ralentir à la fin et laisser Stuart y réfléchir pendant cinq ans. Mais qu'en est-il… Lui le fera peut-être, mais qu'en est-il de toutes les autres équipes qui lisent les articles et qui ne vont pas attendre pendant que vous réfléchissez ? Et c'est ce qui m'inquiète beaucoup, parce que ce problème de coordination semble assez difficile. Mais je pense que c'est une première étape, peut-être de se coordonner, avec des initiatives comme le Partnership on AI, pour que les équipes les plus avancées se mettent au moins d'accord sur un ensemble de protocoles ou de procédures de sécurité, et conviennent par exemple qu'il faut vérifier ces systèmes. Et que ça prendra trois ans et qu'il faut y réfléchir. Je pense que ce serait une bonne chose. Je veux juste apporter une nuance sur le progrès lent ou rapide : imaginez un moratoire de 50 ans sur la recherche en IA, pendant que le matériel continue d'accélérer comme aujourd'hui. C'est un peu ce que disait Nick : il pourrait y avoir un énorme surplus de puissance matérielle, et alors beaucoup d'approches différentes de l'IA, y compris l'IA germe, l'IA qui s'auto-améliore, tout ça deviendrait possible, et peut-être qu'une seule personne dans son garage pourrait le faire. Et je pense qu'une telle situation serait beaucoup plus difficile à coordonner. Alors qu'on peut défendre l'idée qu'il faut progresser vite quand on est dans la partie très difficile de la courbe en S, où il faut en fait une assez grande équipe, assez visible, où l'on sait qui sont les autres. Et dans un sens, la société peut garder un œil sur les acteurs principaux et sur ce qu'ils font. Par opposition à un scénario où, dans 50 ou 100 ans, un gamin dans son garage pourrait créer une IA germe ou quelque chose du genre.
Bart, un dernier commentaire sur ce sujet.
Puisque je pense que ce processus sera très irrégulier, avec certaines tâches où nous serons très avancés et d'autres où nous irons assez lentement, j'espère que quand la société verra des choses comme la création de fausses vidéos, où l'on fait dire à quelqu'un des choses inventées, elle se rendra compte que les machines ont ces nouvelles capacités et qu'il faut, en tant que société, prendre le problème plus au sérieux avant d'avoir une IA complète et générale.
On utilisera l'IA pour détecter ça.
Tu as donc employé le mot « inquiéter », et toi, Nick, tu es allé un peu plus loin. Le mot « catastrophe » apparaissait trois fois sur tes diapositives. Pas étonnant qu'il y ait eu une étoile sur Amazon, que je l'aie évaluée, et qu'elle soit même en rouge. Je pense qu'il est tout aussi important de parler d'espoir existentiel et des formidables bénéfices que des risques. Et je veux en parler beaucoup ici. Alors évacuons maintenant certaines de ces inquiétudes, puis revenons aux aspects positifs. Je veux faire un tour rapide et donner à chacun de vous l'occasion de choisir une chose qui vous semble être un défi à surmonter, puis de dire ce qui vous paraît être la meilleure chose à faire dès maintenant pour l'atténuer. Tu veux commencer, Jaan ?
Cite une chose dont tu crains qu'elle tourne mal, et dis-nous quelque chose de constructif qu'on peut faire maintenant pour réduire ce risque.
Panelist
Oh, je pense que du côté de l'IA, je vois beaucoup de bonnes choses. Je suis vraiment encouragé de voir les excellents contacts entre OpenAI et DeepMind. Mais je pense que ce n'est qu'une sorte de modèle réduit de ce que le monde dans son ensemble pourrait produire en matière de course aux armements. Et moi-même, j'ai passé de plus en plus de temps en Asie ces derniers temps, justement pour essayer d'impliquer davantage de gens ailleurs. Jusqu'ici, ça a surtout été une discussion anglo-américaine. Donc ça, je pense, c'est une chose qu'il faut faire, et je vais la faire.
Eh bien, en tant que personne extérieure à ce domaine, je pense que le défi dont j'ai vraiment conscience, c'est à quel point il est difficile de prendre les questions de sécurité au sérieux émotionnellement, et à quel point c'est difficile aussi pour les gens du domaine. Je ne saurais vous dire combien de gens en dehors de cette salle, qui se disent experts, pensent que le problème du contrôle n'est absolument pas un sujet. C'est sidérant de rencontrer ces gens-là, et donc ça ne vaut pas la peine d'y penser. Et l'une des raisons, je pense, c'est que dans un cas, il y a cette illusion que l'horizon temporel compte. Si on a l'impression que c'est dans 50 ou 100 ans, c'est tout à fait rassurant. Mais il y a là une hypothèse implicite. L'hypothèse, c'est qu'on sait combien de temps il faudra pour construire ça de façon sûre, et que 50 ou 100 ans suffisent. L'autre problème, c'est que je pense que la plupart des gens considèrent l'intelligence comme un bien en soi, et bien sûr on en veut davantage. Et il est très facile d'adhérer à cette hypothèse, parce qu'en ce moment même il existe un remède contre le cancer que nous n'avons pas découvert. C'est quand même rageant, non ? Et s'il n'y avait ce manque d'intelligence, si on savait quelles expériences mener ou comment intégrer les données qu'on a déjà en main, on aurait dès maintenant un remède applicable contre le cancer, à moins qu'une loi physique de l'univers nous empêche de guérir le cancer, ce qui semble peu probable. Donc la douleur de ne pas avoir assez d'intelligence est vraiment atroce quand on s'y arrête. Mais, et je pense que pour répondre à votre question précédente, aller vite devient un bien en soi, à condition d'avoir résolu les problèmes d'alignement, les problèmes politiques et le chaos qui s'ensuivrait si on se contentait de… Si on le faisait vite sans résoudre ces problèmes. Donc je pense que c'est… Ce qui est alarmant, c'est à quel point ces préoccupations restent éthérées, même pour ceux qui n'ont aucun argument rationnel à leur opposer.
Alors Sam, j'ai l'impression que vous êtes tout à fait d'accord avec ce qu'a dit Shane Legg, à savoir que dans certains milieux il existe encore un fort tabou : n'envisagez même pas la possibilité qu'on arrive à l'AGI, parce que c'est complètement ridicule. Et il soutenait que plus vite on se débarrasserait de ce tabou, plus vite les gens pourraient se mettre au travail et trouver toutes ces solutions et réponses vraiment utiles dont on a besoin. Alors imaginons un instant que je vienne vous voir et que je vous dise : cette idée d'intelligence surhumaine me paraît complètement ridicule, totalement dingue. Et au passage, je n'ai jamais vu votre TED Talk, et on est dans un ascenseur. Vous n'avez que 30 secondes pour me convaincre de prendre ça plus au sérieux. Que diriez-vous ? Et beaucoup de gens ici auront exactement cette conversation avec des collègues et d'autres.
Eh bien, il faut très peu d'hypothèses pour prendre ça au sérieux intellectuellement. Encore une fois, la partie émotionnelle est une autre histoire. Mais si on admet que l'intelligence n'est, à un certain niveau, que le produit du traitement de l'information dans un système physique, et très peu de gens ayant une culture scientifique le contestent aujourd'hui, et si on admet qu'on continuera à améliorer nos systèmes de traitement de l'information à moins qu'une catastrophe ne nous en empêche, ce qui semble une hypothèse très sûre, alors ce n'est qu'une question de temps avant qu'on fasse naître dans nos ordinateurs quelque chose de niveau humain, et au-delà.
encore une fois, l'horizon temporel n'est rassurant que si l'on part du principe qu'on aura assez de temps pour résoudre les problèmes d'alignement et les problèmes politiques qui se poseront. Je veux dire, l'autre chose qui rend humble ici, et que Ray a soulevée à un moment, c'est que même si on nous offrait une IA parfaitement bienveillante, bien élevée, tombée du ciel, un oracle parfait, un inventeur parfait de bonnes technologies, vu notre climat politique et économique actuel, ça produirait un chaos total. On n'a tout simplement pas… On n'a pas la volonté éthique ou politique de partager la richesse. On n'a pas l'intégration politique pour gérer le fait que cette chose soit donnée à la Silicon Valley et pas, au même moment, à la Chine ou à l'Iran. Donc c'est alarmant que le meilleur scénario actuel, en gros en arrachant 80 % du livre de Nick parce qu'on aurait résolu tous ces problèmes, reste terrifiant. Et donc, clairement, c'est un problème à court terme qu'il nous faut résoudre.
Merci, Sam. Alors Demis, voulez-vous nous parler d'un défi qui vous semble important et nous dire sur quoi on devrait se concentrer maintenant ?
Je pense que, vous savez, je suis d'accord avec les deux interventions précédentes. Donc je pense que le problème de coordination en est un : on veut éviter cette course effrénée et néfaste vers la ligne d'arrivée, où l'on commence à rogner sur tout, et où des choses comme la sécurité sont faciles à sacrifier, parce qu'évidemment elles ne contribuent pas directement aux capacités de l'IA. En fait, faire une IA sûre risque même de la freiner un peu. Donc je pense que ce sera un gros enjeu à l'échelle mondiale, et ça semble un problème difficile quand on parle de gouvernements nationaux et ce genre de choses. Et je pense aussi qu'on n'a pas assez réfléchi à toute la question de la gouvernance : comment voulons-nous que ces IA soient présentes dans le monde, combien seront-elles, et qui fixera leurs objectifs ? Toutes ces questions demandent beaucoup plus de réflexion, je pense, une fois qu'on aura résolu les problèmes techniques.
Je trouve formidable que vous ne vous contentiez pas de dire ces choses, mais que vous les fassiez. Puisque vous avez joué un rôle moteur dans la création du Partnership on AI, qui va exactement dans le sens de ce que vous préconisez, voulez-vous passer la parole à Nick ? Bien sûr. Il n'y a absolument rien qui vous inquiète, n'est-ce pas ? Alors parlez-nous d'une chose concrète et utile que vous aimeriez nous voir faire.
Panelist
Je suis d'accord avec ça. Je veux dire : financer le travail technique, amener les meilleurs talents à travailler sur ces questions techniques, construire ces collaborations, construire une communauté, instaurer la confiance, et travailler davantage à trouver des solutions séduisantes pour la gouvernance. Des solutions qui pourraient fonctionner. Mais ne vous précipitez pas pour appliquer la première idée venue, testez-la d'abord un peu plus. Je réfléchis beaucoup à la conscience, alors j'ai été vraiment frappé par le principe de prudence sur la sentience dans ma liste de principes. Il dit : évitez les hypothèses fortes sur la répartition de la conscience chez les IA, ce qui implique, je suppose… Évitez de supposer qu'une AGI de niveau humain ou surhumain sera consciente. Pour moi, ça ouvre la possibilité d'un échec massif à l'avenir. La possibilité qu'on crée une AGI de niveau humain ou surhumain et qu'on se retrouve avec un monde peuplé d'AGI surhumaines dont aucune n'est consciente. Et ce serait un monde qui pourrait potentiellement être un monde de grande intelligence. Sans conscience, sans aucune expérience subjective. Or je pense que beaucoup, beaucoup de gens, d'horizons très variés, estiment qu'en gros l'expérience subjective ou la conscience est nécessaire pour qu'il y ait le moindre sens ou la moindre valeur dans une vie. Donc un monde sans conscience ne pourrait en aucun cas être une issue positive. Ce ne serait peut-être pas une issue terriblement négative, ce serait juste une issue nulle, parmi les pires possibles. Donc je me soucie d'éviter cette issue dès maintenant. En réalité, je suis assez optimiste quant à la possibilité que des IA de divers types soient conscientes. Mais dans la mesure où cette communauté part de cette hypothèse, je pense qu'il est important de vraiment se demander : en créant des AGI, crée-t-on réellement des êtres conscients ? Je pense qu'une chose qu'on devrait au moins envisager, c'est de faire… Étant donné qu'on ne comprend pas la conscience, qu'on n'a pas de théorie complète de la conscience, c'est peut-être quand elle ressemble au cas qu'on connaît le mieux, à savoir la conscience humaine, qu'on peut en être le plus sûr. Il y a donc peut-être un impératif à créer une AGI semblable à l'humain, pour être le plus sûr possible qu'il y aura de la conscience.
Donc ce que je vous entends dire, c'est que quand vous cauchemardez d'une apocalypse zombie, vous ne pensez pas à un film idiot à la Terminator, mais à ce problème-là. On se télécharge, on fait toutes ces choses merveilleuses, mais il n'y a personne à l'intérieur. C'est bien ça ?
Panelist
Je veux dire, c'est un autre type de risque existentiel. Un type de risque existentiel, c'est qu'il n'y a plus d'humains, il y a… Il y a de l'IA. Certains diront : bon, ce n'est pas grave, ce sont nos successeurs. Un risque existentiel bien pire, c'est qu'il n'y ait aucun être conscient dans notre avenir.
Alors je vais vous faire une confidence. Shane Legg a mentionné ce fort tabou autour de la possibilité que l'intelligence devienne très avancée. Il y a clairement aussi, depuis longtemps, un fort tabou sur le mot en C. D'ailleurs, avant la conférence, quand on a reçu toutes ces réponses au premier tour sur les principes, devinez lequel est arrivé en dernier ? Il a reçu une quantité énorme de notes à moins un. C'était celui sur la conscience. Alors on l'a remplacé par « sentience ». C'était terriblement formulé, on l'a mieux formulé. Puis on l'a encore amélioré au déjeuner, et il est toujours classé dernier. Voilà pourquoi, même si, même si je partage personnellement votre intérêt pour ce sujet…
Panelist
beaucoup, 88 % des gens ont approuvé
le principe de prudence sur la sentience, mais pas 90. Donc celui-là aussi a disparu de la liste. Alors c'est peut-être un autre tabou que vous pouvez personnellement nous aider à briser. Pour que les gens réfléchissent davantage à cette question. Ray, y a-t-il quelque chose qui vous inquiète, et quelque chose…
Ce que j'allais dire, mais
une inquiétude inverse, c'est qu'on crée des AGI. Tout le monde suppose que ce n'est évidemment qu'une machine, donc qu'elle n'est pas consciente, alors qu'en réalité elle souffre. Mais on ne se soucie pas de son expérience subjective consciente, parce qu'on part d'une mauvaise hypothèse. Mais ce que je voulais dire, c'est qu'il y a trois révolutions qui se chevauchent dont on parle. GNR : génétique, c'est-à-dire biotech, nanotechnologie et robotique, c'est-à-dire l'IA. Et il y a des propositions, les conférences d'Asilomar tenues ici il y a des décennies pour la biotech, qui ont plutôt bien fonctionné. Il y a des propositions similaires pour la nanotechnologie. La différence avec l'IA, c'est qu'il n'existe pas vraiment de solution technique infaillible. On peut avoir des contrôles techniques sur, disons, la nanotechnologie. L'une des règles, c'est qu'elle ne doit pas être autoréplicante. Ce n'est pas vraiment réaliste, parce qu'elle ne peut pas atteindre des quantités significatives sans être autoréplicante. Mais on peut imaginer des protections techniques. Si vous avez une IA plus intelligente que vous qui cherche à vous détruire, ou à détruire le monde, et qu'aucune autre IA ne lui est supérieure, c'est une mauvaise situation. Voilà le spectre. Et c'est en partie amplifié par ce qu'on observe de ce que nous, humains, l'espèce la plus intelligente de la planète, avons fait aux autres espèces. Si on regarde comment on traite les animaux, les gens adorent leurs chiens et leurs animaux de compagnie. Mais si on regarde l'élevage industriel, on n'est pas très tendres avec les espèces moins intelligentes que nous. C'est de là que vient une grande partie de l'inquiétude. On se dit que s'il apparaît un nouveau type d'entité plus intelligente que nous, elle nous traitera comme nous avons traité les autres espèces. Voilà l'inquiétude. Vous savez, je pense que ce qu'on fait à cette conférence est pertinent. Je voulais dire que je pense qu'on devrait publier ces lignes directrices, comme les lignes directrices d'Asilomar sur la biotech ont été publiées il y a des décennies. Et ensuite les gens pourront, on peut prévoir une adhésion ou un refus. Mais je pense qu'on devrait vraiment dire : on a tenu cette conférence, la communauté des dirigeants de l'IA a élaboré ces lignes directrices, les gens peuvent y réagir et en débattre, et peut-être qu'à la prochaine conférence on les révisera. Nos lignes directrices en biotech ont été révisées de nombreuses fois, mais je plaiderais pour qu'on prenne vraiment position, qu'on avance ces lignes directrices, qu'on laisse l'ensemble de la communauté en débattre et qu'elles guident nos recherches. Ça a vraiment très bien marché en biotech.
D'accord, oui. Alors laissez-moi donner un point de vue un peu différent. Une inquiétude que j'ai, à haut niveau, c'est que si ces machines deviennent vraiment intelligentes, même seulement dans certains domaines, les humains pourront-ils encore comprendre les décisions qu'elles suggèrent ou qu'elles prennent ? Je travaille dans le domaine du raisonnement automatique, où l'on a fait des progrès considérables ces deux dernières décennies, passant de problèmes à quelques centaines de variables à des problèmes à des millions de variables résolus aujourd'hui de façon tout à fait routinière. Et il y avait un sentiment dans la communauté : on obtient des réponses de ces moteurs de raisonnement, surtout sur des problèmes de matériel et de logiciel, mais les humains ne peuvent plus comprendre ces réponses. Ces dernières années, on a découvert qu'on pouvait utiliser la machine pour générer des explications de ses réponses qui sont, là encore, compréhensibles par les humains. Donc je vois une petite lueur d'espoir : même si on est beaucoup moins intelligents, on pourra peut-être comprendre les solutions que les machines trouvent pour nous. Nous n'aurions pas pu trouver ces solutions, mais elles pourront peut-être fournir des explications qui nous soient accessibles. Voilà une petite note positive.
Alors il y a deux choses qui m'empêchent de dormir, à part les e-mails. La première, c'est le problème des usages malveillants et des acteurs mal intentionnés. Pour faire une analogie, c'est comme si on fabriquait des armes nucléaires et qu'on les envoyait par e-mail à tout le monde sur la planète en disant : voilà un jouet, faites-en ce que vous voulez. Comment contrer ça ? Je dois dire que je n'ai pas vraiment de bonne solution. Je pense que l'une des choses à faire, c'est de rendre les modèles d'IA sûre très clairs et simples, et de rendre en quelque sorte impensable de faire autrement. Tout comme il est impensable d'avoir un programme avec une boucle infinie qui affiche la roue multicolore de la mort sur votre… Oh, pardon. Bon, il est impensable d'avoir un dépassement de tampon qui permet de pirater votre logiciel. L'autre chose qui m'empêche de dormir, c'est en fait la possibilité que le succès fasse de l'IA un parent hélicoptère pour l'espèce humaine, qui nous figerait et nous affaiblirait peu à peu. Si bien qu'à aucun moment il ne nous paraîtrait évident que c'est en train d'arriver. Et je pense que la parade que vous demandiez, pour voir le bon côté des choses, c'est qu'en un sens la méta-valeur de l'évolutivité humaine, la liberté de changer l'avenir, est quelque chose que l'IA doit adopter. Et en un sens, ça finirait par conduire l'IA à se retirer à l'arrière-plan en disant : bon, je vous ai accompagnés pendant votre adolescence, maintenant il est temps que l'espèce humaine grandisse, maintenant qu'on a les moyens d'éliminer la pénurie, les conflits inutiles, les échecs de coordination et tout ce dont on souffre aujourd'hui. Donc je peux imaginer un avenir lointain où, en fait, l'IA serait peut-être encore moins visible qu'aujourd'hui. Très bien.
Enfin vous, Elon, à ma connaissance, vous n'avez jamais exprimé la moindre inquiétude au sujet de l'IA. C'est ça. Je me demande juste si tout ira bien, s'il y a des inquiétudes en particulier, des inquiétudes que vous… Où vous voyez une chose très claire qu'on devrait faire dès maintenant et qui
Eh bien, j'ai essayé de réfléchir à ce qu'est réellement un bon avenir. À quoi ça ressemble concrètement, ou du moins un mauvais, ou quelle que soit la façon dont on veut le caractériser. Parce que, comme on l'a dit tout à l'heure, peut-être Sam, peut-être d'autres, on va soit vers la superintelligence, soit vers la fin de la civilisation. Ce sont, en gros, les deux choses qui vont arriver. L'intelligence va continuer de progresser. La seule chose qui l'empêcherait de progresser, c'est quelque chose qui plonge la civilisation dans la stagnation ou qui la détruit. Donc il faut trouver dans quel monde on aimerait vivre, un monde où existe cette superintelligence numérique. Je pense que… Un autre point qu'il me semble vraiment important de bien saisir, c'est que nous sommes, tous autant que nous sommes, déjà des cyborgs. Vous avez un prolongement mécanique de vous-même sous la forme de votre téléphone, de votre ordinateur et de toutes vos applications. Vous êtes déjà largement surhumains. Vous avez plus de pouvoir, plus de capacités que le président des États-Unis il y a 30 ans. Si vous avez une connexion Internet, vous avez un oracle de sagesse. Vous pouvez communiquer avec des millions de personnes. Vous pouvez communiquer instantanément avec le reste de la Terre. Ce sont des pouvoirs magiques qui n'existaient pas il y a encore peu de temps. Donc tout le monde est déjà surhumain, et cyborg. La limite, c'est la bande passante. On est limités en bande passante, surtout en sortie. Notre entrée est bien meilleure, mais notre sortie est extrêmement lente. En étant généreux, on pourrait dire que c'est peut-être quelques centaines de bits par seconde, ou un kilobit, quelque chose comme ça, en sortie. Notre façon de sortir de l'information, c'est avec des petits bâtons de viande qu'on bouge très lentement pour appuyer sur des boutons ou tapoter un petit écran, et c'est tout simplement extrêmement lent. Et comparez ça à un ordinateur qui peut communiquer au niveau du téraoctet. Ce sont des écarts de plusieurs ordres de grandeur. Notre entrée est bien meilleure grâce à la vision, mais même ça pourrait être nettement amélioré. Je pense que les deux choses nécessaires pour un avenir qu'on jugerait très probablement bon, c'est d'abord résoudre cette contrainte de bande passante avec une interface neuronale directe, une interface à haut débit avec le cortex, pour qu'on ait une couche tertiaire numérique plus pleinement symbiotique avec le reste de nous-mêmes. Un peu comme le cortex et le système limbique, qui semblent plutôt bien fonctionner ensemble. Ils ont une bonne bande passante, alors que la bande passante vers notre couche tertiaire numérique est faible. Donc je pense que si on résout ce problème de bande passante, et qu'ensuite l'IA est largement accessible… L'analogie avec la bombe nucléaire n'est pas tout à fait juste. Ce n'est pas comme si elle allait exploser et créer un champignon atomique. C'est plutôt que si seulement quelques personnes l'avaient, elles pourraient devenir en gros les dictateurs de la Terre, ou, enfin, celui qui l'aurait acquise. Et si c'était limité à 100 personnes et que c'était ultra-intelligent, elles domineraient la Terre. Donc je pense qu'il est extrêmement important qu'elle soit largement répandue et qu'on résolve le problème de bande passante. Et si on fait ces choses-là, elle sera liée à notre conscience, liée à notre volonté, liée à la somme des volontés humaines individuelles, et tout le monde l'aurait. Donc ce serait encore des règles du jeu relativement équitables. En fait, ce serait probablement plus égalitaire qu'aujourd'hui.
Super, merci beaucoup. C'est d'ailleurs la transition parfaite vers la dernière question que je veux vous poser avant d'ouvrir à tout le monde. Ce qui m'a vraiment manqué dans la discussion sur une intelligence très avancée, au-delà de l'humain, c'est davantage de réflexion sur les bénéfices. On parle tellement de risque existentiel, et pas seulement dans le monde universitaire : allumez votre télé, regardez Netflix. Que voit-on dans ces visions scientifiques de l'avenir ? Presque toujours des dystopies, non ? Pour une raison ou une autre, la peur rapporte plus de clics que les visions positives. Mais si une étudiante vient dans mon bureau au MIT me demander des conseils de carrière, la première chose que je lui demanderai, c'est : où veux-tu être dans 20 ans ? Et si elle me répond juste : bah, j'aurai peut-être un cancer, je me ferai peut-être écraser par un bus, c'est une façon épouvantable d'envisager sa carrière. Je veux qu'elle soit enflammée et qu'elle dise : ma vision, c'est de faire ceci, et voici ce qui pourrait mal tourner, et ensuite on peut planifier comment éviter ces problèmes et y arriver. J'aimerais voir davantage de discussions sur les bénéfices, sur les avenirs qui nous enthousiasment vraiment. Pour ne pas juste essayer d'éviter les problèmes pour le plaisir de les éviter, mais pour atteindre quelque chose qui nous enflamme tous vraiment. Alors pour commencer, je vais vous dire une chose qui m'enthousiasme vraiment dans l'intelligence artificielle avancée. Tout ce que j'aime dans la civilisation est un produit de l'intelligence. Si, pour une raison quelconque, on se disait : bon, cette histoire de technologie me fait peur, oh là là, appuyons sur pause pour toujours. Il n'y a plus de question intéressante sur le fait de savoir si l'humanité va s'éteindre. La question est juste quand : sera-ce un supervolcan ? Sera-ce le prochain astéroïde tueur de dinosaures ? Le dernier, c'était il y a 60 millions d'années. Alors combien de temps… C'est un avenir assez horrible que de rester assis à se demander quand on va se faire balayer, sans la technologie, alors qu'on sait qu'on a largement la puissance cérébrale pour résoudre tous ces problèmes si on avance et qu'on développe la technologie. Voilà une chose qui m'enthousiasme beaucoup à l'idée d'aller de l'avant. Plutôt que d'appuyer sur pause, je veux vous poser la même question à chacun à tour de rôle. Alors parlez-nous très brièvement de quelque chose qui vous enthousiasme vraiment. Une vision d'avenir avec une intelligence artificielle très avancée qui vous enthousiasme vraiment et que vous aimeriez voir. Jaan.
Panelist
Alors je veux être prudent quand j'imagine des fruits concrets de l'AGI ; à un méta-niveau, en première approximation, je pense qu'on devrait simplement maximiser le plaisir et minimiser la souffrance. Je crois qu'Eliezer a écrit une série intitulée Fun Theory, où il souligne que les gens ont été horriblement peu inventifs pour imaginer des paradis de toutes sortes. Ce sont en fait des endroits vraiment ennuyeux quand on y réfléchit. Je crois qu'Eddie Izzard a un sketch où il dit : c'était déjà dur de passer un week-end avec ma famille. Imaginez passer l'éternité avec la famille décédée. Mais donc je pense qu'on devrait se soucier des effets secondaires, essayer de capter des dynamiques d'amélioration, et partir de là. S'assurer qu'on peut ajuster la trajectoire à mesure qu'on devient plus intelligents et qu'on grandit ensemble. Très bien.
Merci, Jaan. Sam, qu'est-ce qui vous enthousiasme ?
Eh bien, curieusement, ce qui m'enthousiasme touche directement à ce qui me fait le plus peur. Je pense que ce qui est bien dans cette conversation, en particulier sur le problème de l'alignement, c'est qu'elle nous force à comprendre qu'il y a de meilleures et de moins bonnes réponses aux questions de valeurs humaines. Et comme quelqu'un l'a dit, peut-être lors de la dernière réunion à Porto Rico, on doit vraiment faire de la philosophie avec une échéance, et admettre qu'il y a de meilleures et de moins bonnes réponses et converger vers les meilleures. Et qu'est-ce qui m'enthousiasmerait dans la naissance d'une IA superintelligente ? L'une des choses, à part résoudre des problèmes évidents comme guérir les maladies, les questions d'énergie et tout le reste, et là je diffère peut-être un peu de ce qu'a dit Stuart. Je ne m'inquiète pas tant de l'idiocratie, ou qu'on perde tous notre chemin comme des singes vivant des vies improductives en dialogue avec ces oracles. Je pense qu'en fait je voudrais qu'une superintelligence véritablement alignée sur nos valeurs nous montre progressivement, non pas seulement comment conserver ce qu'on veut, mais ce qu'on devrait vouloir, pour qu'on continue d'améliorer nos valeurs, qu'on puisse naviguer dans l'espace de toutes les expériences possibles et converger vers des expériences de plus en plus bonnes.
Merci, Sam. Et vous, Demis ?
Eh bien, évidemment, c'est pour ça que j'ai consacré toute ma carrière à ça : je pense que si on s'y prend bien, ce sera la plus grande chose jamais arrivée à l'humanité, et d'une certaine façon ça libérera tout notre potentiel. J'ai beaucoup parlé, dans toutes mes conférences, de l'utiliser comme un outil pour nous aider à faire des percées scientifiques et médicales plus vite. Je pense que c'est une évidence, mais en voyant plus loin… L'une des raisons pour lesquelles je me suis autant passionné pour l'IA, c'est que, comme probablement beaucoup d'entre vous dans cette salle, je m'intéresse aux plus grandes questions : pourquoi sommes-nous ici ? Comprendre notre esprit, qu'est-ce que la conscience, quelle est la nature de l'univers, quel est notre but ? Et si on veut vraiment s'attaquer à l'une de ces questions, je pense qu'on aura besoin de quelque chose comme l'IA, peut-être en étant nous-mêmes augmentés aussi. Et je pense que dans ce monde futur, on aura la chance de découvrir vraiment certaines réponses à ces questions très profondes. Vous savez, comme on le découvre avec AlphaGo, rien que pour le go ; mais si on pouvait faire ça avec toute la science, la physique et les plus grandes questions de l'univers ? Et je pense que ce sera le voyage le plus exaltant de tous que de découvrir ça. Petite nuance sur certaines choses que d'autres ont évoquées, le fait que nous soyons les êtres les plus intelligents de la planète aujourd'hui et que nous maltraitions les animaux, ce genre de choses. Mais si on y réfléchit, prenons, je ne sais pas, les tigres en Inde : ils ont d'immenses territoires, et les gens là-bas sont très pauvres, très démunis en ressources. Mais s'ils avaient des ressources abondantes, je ne pense pas qu'ils chercheraient délibérément à exterminer ces tigres. Enfin, dans certains cas, si, mais souvent c'est juste parce qu'ils ont besoin des terres pour leur bétail, voilà. Le tigre a besoin de je ne sais combien de kilomètres carrés pour vivre. Un seul tigre. Et c'est juste difficile avec le nombre de gens qui vivent là. Donc je pense que si on résout ce problème d'abondance et de pénurie, ça désamorce beaucoup de conflits, aussi bien entre humains que ceux qui, au fond, tiennent à la rareté des ressources. Donc je vois… Si on peut résoudre beaucoup de ces problèmes, je vois un avenir bien meilleur.
Alors Nick, vous avez fait remarquer que la partie de votre livre sur les bénéfices était un peu courte. Alors voici l'occasion d'ajouter quelque chose de positif. Qu'est-ce qui vous enthousiasme ?
Panelist
Il y a vraiment deux aspects à ça. L'un, c'est de se débarrasser de beaucoup de choses négatives, par un usage bienveillant pour guérir les maladies et toutes sortes d'autres misères horribles qui existent sur la planète aujourd'hui. C'est donc une grande part du potentiel. Mais au-delà, si on veut vraiment voir de façon réaliste quelles choses positives pourraient être développées, je pense qu'il faut penser hors des contraintes de notre nature biologique humaine actuelle, car il est irréaliste d'imaginer une trajectoire qui s'étend sur des centaines de milliers d'années dans le futur… … où on aurait la superintelligence, l'abondance matérielle, et où on serait pourtant toujours ces organismes bipèdes avec un kilo et demi de matière grise, un ensemble figé de sensibilités émotionnelles et un point d'équilibre hédonique qui est à peu près correct pour la plupart des gens. Mais quand il vous arrive quelque chose de vraiment bien, ça dure peu de temps, et ensuite vous revenez à votre niveau de base. Je pense que tous ces paramètres de base qui définissent en quelque sorte le jeu humain aujourd'hui seront à prendre dans cet avenir. Et ça ouvre cet espace bien plus vaste de modes d'existence post-humains, dont certains pourraient, je pense, être merveilleux, littéralement au-delà de notre capacité d'imagination, en termes d'états mentaux, de types d'activités, de compréhension, de façons d'être en relation. Donc je ne pense pas qu'on ait besoin d'un plan détaillé de l'utopie dès maintenant. Ce dont on a besoin, c'est de se mettre en position, plus tard, d'avoir la capacité d'utiliser tout ça pour réaliser les valeurs qui apparaîtront à mesure qu'on avancera.
Merci, Nick. Et vous, David ?
Panelist
Ce qui m'enthousiasme, ce sont les possibilités que l'IA offre de nous rendre, nous les humains, plus intelligents. Enfin, il y a une part d'égoïsme. J'ai eu 50 ans l'an dernier. Mon cerveau devient peu à peu plus lent, plus vieux et plus bête, mais je ne suis pas sûr que moi, je le devienne. Et c'est en partie parce que les technologies d'intelligence augmentée qu'on utilise, les smartphones, Internet et ainsi de suite, me donnent toutes sortes de capacités, des capacités étendues que je n'avais pas avant. Et j'ai vraiment hâte que l'IA aide à ça, d'ici une dizaine d'années, quand tout le monde portera des lunettes de réalité augmentée avec de l'apprentissage profond intégré. Et je vais vraiment… Je vais vraiment en avoir besoin vers 60 ans. Et si vous vous y mettez vraiment, et que d'ici mes 70 ans environ, on a une vraie IA, authentique, ou des modules d'IA qui pourraient d'une façon ou d'une autre s'intégrer à mes processus cérébraux, ou peut-être qu'on finira par télécharger tout notre cerveau dans une IA, alors il y a… Il y a potentiellement un moyen de devenir, vous savez, plus malin et plus intelligent pour toujours. Et ce n'est pas seulement égoïste, même si je ne peux pas dire que ça ne me motive pas. Mais Demis a parlé des scientifiques IA. Moi, j'aime aussi penser au philosophe IA. Les problèmes de la philosophie sont vraiment difficiles, et beaucoup ont supposé que nous, humains, sommes tout simplement trop bêtes pour en résoudre certains. Mais une fois que les IA seront vraiment là, peut-être des humains augmentés par l'IA, on pourra peut-être franchir ces seuils où les humains augmentés, ou peut-être juste les AGI, finiront par résoudre certains de ces problèmes philosophiques une bonne fois pour toutes.
Très bien. Ray. Vous avez été un vrai pionnier dans la formulation de visions positives de l'avenir dans vos écrits. Alors si vous deviez choisir celle qui vous enthousiasme le plus aujourd'hui, ce serait laquelle ?
Imaginez qu'on remonte 10 000 ans en arrière et qu'on demande à l'homme et à la femme des cavernes typiques : dites, c'est quoi un avenir bénéfique ? Qu'aimeriez-vous voir ? Et ils diraient : eh bien, j'aimerais que ce feu arrête de s'éteindre, et j'aimerais un plus gros rocher pour empêcher les animaux d'entrer dans la grotte. Rien d'autre ? Bah non, je pense que ce serait parfait. Vous ne voulez pas un meilleur site web, de meilleures applis et de meilleurs moteurs de recherche ? Imaginez qu'on remonte 2 millions d'années en arrière pour parler à des primates. Si on pouvait faire ça et leur dire : c'est génial, non ? Le cortex frontal arrive, avec du néocortex en plus et une hiérarchie plus élevée. Et ils diraient : bon, et ça sert à quoi ? Et on dirait : eh bien, vous aurez la musique et l'humour. Et leur réponse serait : c'est quoi, la musique ? C'est quoi, l'humour ? Ils ne pouvaient pas imaginer des concepts qu'ils étaient incapables d'imaginer. Et par analogie, je pense qu'on aura de nouveaux phénomènes aussi profonds que la musique et l'humour. On pourrait dire une musique plus profonde, et ce sera plus drôle. Mais je pense que ce sera aussi profond que ces grands bonds que l'évolution nous a apportés, parce qu'on deviendra profondément plus intelligents. Et si la musique et l'humour sont là-haut, et qu'on atteint des niveaux encore plus élevés du néocortex, on aura des façons plus profondes de nous exprimer. Et une fois qu'on aura ça, on ne voudra plus revenir en arrière.
Eh bien, je suis assez d'accord avec ça. On ne peut pas vraiment prédire à l'avance ce qu'on aimerait avoir. Personnellement, je trouve que les progrès en mathématiques, dans la découverte scientifique, et ces hybrides entre humains et ordinateurs sont tout à fait incroyables et rendent notre domaine, notre travail, bien plus passionnant. Donc je pense que ce sera, dans un avenir proche, la première chose.
Très bien. Et vous, Stuart ?
Eh bien, comme Jeffrey Sachs, je pense que pour beaucoup d'entre nous, et sans doute comme pour l'homme des cavernes, la vie est assez formidable, et que pour beaucoup plus d'entre nous, elle ne l'est pas. Et je pense que la meilleure chose que l'IA puisse faire, le grand bénéfice, c'est en fait de… De régler ce second problème. J'aime beaucoup l'idée de Nick selon laquelle il existe des états d'être supérieurs, tellement au-dessus de notre « plutôt bien » actuel… … que ça compense tout le « plutôt mal » dont souffrent beaucoup de gens. Mais je pense vraiment que l'accent devrait être mis sur le « plutôt mal » : le corriger et l'éliminer. Apparemment, Demis lisait mes notes depuis l'autre bout de la salle. Mais éliminer la pénurie supprime en gros le besoin pour les gens d'agir selon une logique à somme nulle, où l'on ne s'en sort qu'en rendant plus difficile pour quelqu'un d'autre de s'en sortir. Et je pense que c'est la source d'une bonne partie de la méchanceté dont Jeffrey parlait tout à l'heure. Donc ce serait mon principal bénéfice, et ne plus avoir à lire autant d'e-mails. Ce serait le second.
Et vous, Elon, à ma connaissance vous n'avez jamais formulé non plus la moindre idée visionnaire sur l'avenir. Et maintenant ?
Je crois que j'y ai juste beaucoup réfléchi. Je pense que ça se résume vraiment à deux choses : résoudre la contrainte de bande passante entre la machine et le cerveau, et démocratiser l'IA. Je pense que si on a ces deux choses… L'avenir sera bon. Il y a une super citation de Lord Acton : la liberté consiste dans la répartition du pouvoir, et le despotisme dans sa concentration. Et je pense que tant que la puissance de l'IA est accessible à quiconque la veut, et qu'on a quelque chose de plus rapide que des bâtons de viande pour communiquer, alors l'avenir sera bon.
Fantastique. Alors allons-y. Je sais que votre niveau de caféine baisse dangereusement. Et on a encore un autre panel après celui-ci, qui va être vraiment passionnant à écouter. Alors prenons juste quelques questions rapides. Assurez-vous que ce sont bien des questions, donnez votre nom, et choisissez une personne du panel à qui vous adresser. D'accord. Yoshua Bengio, Montréal, et c'est pour Jaan.
J'ai trouvé votre présentation très inspirante, et l'une de mes questions porte sur le recueil des préférences et des valeurs des gens. Pensez-vous que cette piste de recherche pourrait mener à une meilleure démocratie, une meilleure société, une démocratie plus directe, et que pensez-vous de cette direction pour traiter la question des usages malveillants et ce genre de choses ?
Panelist
Oui, absolument. On pourrait même lui donner un nom de code comme démocratie 2.0, ou ONU 2.0, quelque chose comme ça. Et comme je l'ai dit dans ma présentation, beaucoup de gens aujourd'hui veulent en gros rendre le monde meilleur, mais c'est assez difficile de les distinguer des gens qui disent vouloir rendre le monde meilleur. Donc s'il existait vraiment une métrique de mesure très simple qui servirait d'argument, de point focal, je pense que ce serait extrêmement utile. La démocratie a été inventée il y a des siècles, et clairement nous avons progressé en tant que civilisation et nous savons mieux comment agréger les préférences.
Et Nicolas Berggruen, là-bas. Merci, Max. Nicolas Berggruen. J'ai une question presque naïve. C'est un groupe très bien intentionné, disons, en termes d'intentions, mais
qui surveille qui d'autre
travaille potentiellement sur l'AGI ? Ça pourrait être
bien au-delà de ce groupe.
Ça pourrait être en Chine, ça pourrait être n'importe où. Et que se passe-t-il ? Parce qu'on a dit à quel point l'AGI est puissante, et si Elon a raison, si elle est répartie équitablement, très bien, mais sinon, existe-t-il un moyen de surveiller ça aujourd'hui, dans un an ou dans 10 ans ? Parce qu'une fois qu'elle sera lâchée, ça ira vite. Qui la surveille ?
Qui garde un œil dessus ?
Parce qu'ici, c'est un groupe autosélectionné.
Mais au-delà… Elon ou Demis, l'un de vous veut-il se lancer ?
Eh bien, je pense que ça rejoint ce que je disais tout à l'heure sur le fait de développer l'IA dans la partie difficile de la courbe en S. Ce qui est, je pense, à peu près là où on en est actuellement, pour autant qu'on puisse en juger, parce que ce n'est pas facile de faire ce genre de progrès. Il faut donc pas mal de gens assez brillants, et cette communauté reste assez petite, même si elle grossit rapidement dans des endroits comme NIPS. Et la plupart des gens se connaissent. Donc c'est assez représentatif de tout le monde en Occident, du moins. Évidemment, c'est plus difficile de savoir ce qui se passe en Chine ou peut-être en Russie, mais je pense qu'il faut une empreinte de ressources assez importante : des gens, des gens très brillants, beaucoup de puissance de calcul, etc. Donc je pense que ça réduit le nombre de groupes capables de le faire. Et ça veut aussi dire qu'ils sont plus visibles. Donc je pense qu'en Occident, certainement, quelqu'un dans cette salle sera en contact avec quelqu'un de ces groupes capables de faire des progrès significatifs vers l'AGI. C'est plus difficile à savoir à l'Est et plus loin, mais on devrait essayer de tisser des liens avec l'Académie chinoise des sciences et ainsi de suite pour en savoir plus. Mais ça pourrait changer à l'avenir. Je pense que c'est l'état actuel des choses.
Très bien. La mauvaise nouvelle, c'est qu'il se fait tard et qu'on n'a le temps que pour une dernière question. La bonne nouvelle, c'est qu'il y a une pause café juste après. Vous pourrez poser toutes vos questions en assaillant le panel. Et la dernière question est pour vous, Erik. Vous voulez bien vous lever ?
Erik Brynjolfsson, MIT. Je vais rebondir sur ce qu'Elon a dit à la fin sur la démocratisation du résultat, et le relier au panel d'hier où Reid Hoffman expliquait que les gens se soucient beaucoup non seulement de leur revenu absolu mais aussi de leur revenu relatif. Je voulais avoir la réaction des intervenants : l'IA a-t-elle tendance à produire des effets où le gagnant rafle tout, une tendance à la concentration où celui qui est en tête creuse encore l'écart, ou y a-t-il un potentiel pour un accès démocratique plus large, et quels mécanismes peut-on mettre en place si on veut cette prospérité largement partagée qu'Elon évoquait ?
Elon, vous voulez répondre ?
Eh bien, je dois dire que quand quelque chose représente un danger pour le public, il faut, ça me coûte de le dire, une agence gouvernementale, des régulateurs. Je ne suis pas le plus grand fan des régulateurs, parce qu'ils sont un peu rabat-joie. Mais le fait est qu'on a des régulateurs dans l'aéronautique, dans l'automobile, j'ai affaire à eux en permanence, pour les médicaments, l'alimentation, tout ce qui représente un risque public. Je pense que ça doit entrer dans la catégorie des risques publics. Et donc je pense que c'est la bonne chose à faire. Et je pense que ça arrivera. La question est de savoir si la vitesse de réaction des gouvernements suivra la vitesse de progression de l'IA. Les gouvernements réagissent lentement, avancent lentement, et ils ont tendance à être réactifs plutôt que proactifs. Mais regardez ces autres industries : est-ce que quelqu'un veut vraiment que la FAA disparaisse ? Que ce soit la foire d'empoigne dans l'aviation ? Probablement pas. Il y a une raison à son existence. Ou que les gens puissent prendre n'importe quel médicament, qui marche peut-être, ou peut-être pas. C'est ce qu'on a avec les compléments alimentaires. C'était un peu ridicule. Mais je pense que, tout bien pesé, la FDA est une bonne chose. Donc je pense qu'on a probablement besoin d'une sorte d'autorité de régulation. Et je pense que l'objection, c'est de dire : bah, les gens vont juste déménager au fichu Costa Rica ou ailleurs. Ce n'est pas vrai. D'accord. On ne voit pas Boeing déménager au Costa Rica, ou au Venezuela, ou ailleurs. Là où tout est libre et laxiste. Pour rejoindre ce que disait Demis, l'IA sera de façon écrasante très probablement développée là où se concentrent les talents de la recherche en IA. Et il se trouve que c'est dans quelques endroits du monde. La Silicon Valley, Londres, Boston, quelques autres endroits, mais c'est vraiment juste une poignée d'endroits auxquels les régulateurs pourraient raisonnablement accéder. Et je veux être clair : ce n'est pas parce que j'adore les régulateurs, d'accord ? Ils sont pénibles, mais ils sont parfois nécessaires pour préserver l'intérêt général.
Très bien, sur ces mots, remercions le panel pour cette discussion passionnante.