Asilomar AI: Superintelligence Panel 30. Januar 2017 Musk nimmt mit Bostrom, Hassabis, Kurzweil, Russell und Harris an einem Panel des Future of Life Institute teil, das über die Risiken und den Zeithorizont superintelligenter KI debattiert.
Musk nimmt mit Bostrom, Hassabis, Kurzweil, Russell und Harris an einem Panel des Future of Life Institute teil, das über die Risiken und den Zeithorizont superintelligenter KI debattiert.
Transkript Ich stelle eine Frage, die man nur mit Ja, Nein oder Es ist kompliziert beantworten darf. Gut, fangen wir hier an. Ist irgendeine Form von Superintelligenz möglich, Jaan? Ja, nein, es ist kompliziert.
Panelist
ja, ja, ja, ja, ja, definitiv nein.
Das war enttäuschend. Wir haben keine Meinungsverschiedenheiten gefunden. Versuchen wir es härter. Nur weil es möglich ist, heißt das nicht, dass es tatsächlich passiert.
Vorhin habe ich gefragt, ob Superintelligenz nach den Gesetzen der Physik überhaupt möglich ist. Jetzt frage ich: Wird es tatsächlich passieren? Ja, nein oder es ist kompliziert.
Panelist
Ein bisschen kompliziert, aber ja,
ja. Und wenn nicht, dann ist etwas Schreckliches passiert, das es verhindert hat.
Mist. Immer noch keine interessanten Meinungsverschiedenheiten. Wir müssen es noch härter versuchen. Okay, ihr glaubt also, dass es passieren wird – aber würdet ihr euch wünschen, dass es irgendwann passiert? Ja, nein oder es ist kompliziert. Kompliziert, kompliziert.
Panelist
Ja, ja, es ist wirklich kompliziert.
Panelist
Kommt darauf an, welche Art von…
Gut, es wird langsam etwas interessanter. Ich glaube, wir hatten eine sehr… Wann wird das passieren? Nun, wir hatten schon heute Morgen im Panel eine wirklich faszinierende Diskussion darüber, wann wir eine KI auf menschlichem Niveau erreichen könnten. Das wäre sozusagen eine untere Grenze, und aus Zeitgründen… … müssen wir die Frage, wann es darüber hinausgehen könnte, wohl nicht noch einmal aufrollen. Aber stellen wir eine eng verwandte Frage zu der, die gerade aufkam: Wenn etwas in Gang kommt, wenn es eine Art rekursive Selbstverbesserung gibt oder einen anderen Prozess, durch den die Intelligenz von Maschinen sehr, sehr schnell abhebt, dann gehört dazu immer eine Zeitskala – und da hoffe ich, dass wir endlich ein paar ernsthafte Meinungsverschiedenheiten finden, über die wir streiten können. Manche stellen sich ein Szenario vor, in dem es schlagartig losgeht und alles in Tagen, Stunden oder noch kürzer passiert, während andere meinen, es werde zwar passieren, aber Jahrzehnte oder Jahrtausende dauern. Wenn ihr also an eine Art Verdopplungszeit denkt, eine grobe Zeitskala, auf der sich die Dinge dramatisch verbessern – welche Zeitskala würdest du schätzen, Jaan?
Panelist
Ab jetzt oder ab KI auf menschlichem Niveau?
Nein, nein. Sobald wir KI auf menschlichem Niveau erreichen, oder einen Punkt etwas darüber oder etwas davor, an dem die Dinge tatsächlich abheben: Was ist die Zeitskala? Jede Explosion hat für einen nerdigen Physiker eine Zeitskala, oder? Auf der sie abläuft. Reden wir von Sekunden, Jahren oder Jahrtausenden?
Panelist
Ich denke an Jahre, aber es ist wichtig, so zu handeln, als wäre der Zeitrahmen kürzer.
Ja, ich traue meiner Intuition hier eigentlich nicht wirklich. Meine Intuition sagt mir, dass wir von Jahren reden, aber ich halte KI auf menschlichem Niveau auch für eine Fata Morgana. Sie wird plötzlich besser sein als der Mensch. Aber ob das schnell zu einer echten Intelligenzexplosion wird, weiß ich nicht.
Ich glaube, das hängt zum Teil von der Architektur ab, die am Ende KI auf menschlichem Niveau liefert. Bei der Art von neurowissenschaftlich inspirierter KI, die wir gerade zu bauen scheinen, die trainiert werden und Erfahrung sammeln muss, um Wissen zu erwerben, da könnte es in der Größenordnung von ein paar Jahren liegen, vielleicht sogar ein Jahrzehnt,
Panelist
eine gewisse Anzahl von Jahren. Es könnte aber auch viel weniger sein. Aber ich wäre überrascht, wenn es viel mehr wäre. Ja, möglicherweise Tage oder weniger. Vor allem, wenn es KI-Forscher sind… … die KI-Forscher entwerfen.
Jedes Mal, wenn es einen Fortschritt in der KI gibt, tun wir ihn ab. Ach, das ist doch keine echte KI: Schach. Go, selbstfahrende Autos. Und KI ist, wie ihr wisst, das Gebiet der Dinge, die wir noch nicht geschafft haben. Das wird so weitergehen, wenn wir tatsächlich AGI erreichen. Es wird viel Streit geben. Bis sich der Streit gelegt hat, werden wir merken, dass es sie schon seit ein paar Jahren gibt.
Ja, ich glaube, wir werden die menschlichen Fähigkeiten in vielen verschiedenen Bereichen übertreffen, aber nicht in allen gleichzeitig. Es wird also ein ungleichmäßiger Prozess sein, bei dem manche Bereiche sehr bald weit fortgeschritten sind, teilweise schon heute, und andere viel länger brauchen.
Ich glaube, wenn sie eine Schwelle erreicht, an der sie so klug ist wie der klügste, erfinderischste Mensch, dann könnte es wirklich nur eine Frage von Tagen sein, bis sie klüger ist als die gesamte Menschheit zusammen.
Hier haben wir also eine ziemlich interessante Bandbreite an Antworten gesehen. Und ich finde das eine sehr interessante Frage, denn aus Gründen, über die einige hier viele interessante Arbeiten veröffentlicht haben, macht die Zeitskala einen riesigen Unterschied. Wenn es sich zum Beispiel auf der Zeitskala der industriellen Revolution abspielt, ist das viel länger als die Zeit, die eine Gesellschaft braucht, um sich anzupassen und Maßnahmen zu ergreifen, um die Entwicklung zu steuern – um deine schöne Raketenmetapher aufzugreifen, Jaan. Wenn die Dinge dagegen viel schneller passieren, als die Gesellschaft reagieren kann, ist es viel schwerer zu steuern. Und man muss irgendwie hoffen, dass man vorher eine gute Steuerung eingebaut hat. In Kernreaktoren zum Beispiel schieben wir nerdigen Physiker gern Graphitstäbe als Moderatoren hinein, um die Dinge zu bremsen und vielleicht sogar zu verhindern, dass es kritisch wird. Mich interessiert, ob jemand von euch es gut fände, wenn dieses Wachstum der Intelligenz, das euch mit einigen Vorbehalten grundsätzlich begeistert, etwas langsamer abliefe, damit es für die Gesellschaft leichter wird, es weiter so zu gestalten, wie wir es wollen. Und wenn ja – und das ist eine schwierige Frage –, gibt es etwas, das wir jetzt oder später, wenn es näher rückt, tun könnten, damit diese Intelligenzexplosion oder dieses rasche Intelligenzwachstum einfach langsamer abläuft, sodass wir mehr Einfluss darauf haben? Möchte sich jemand daran versuchen? Es ist nicht das ganze Problem, aber wer…
Panelist
Das erinnert mich an das Gespräch, das wir mit Rich Sutton in Puerto Rico hatten. Wir waren uns in vielem uneinig, aber darüber, dass langsam besser ist als schnell, konnten wir uns definitiv einigen.
Irgendwelche Ideen, wie man es etwas langsamer machen könnte?
Nun, die Strategie, die ich in meinem Vortrag vorgeschlagen habe, war etwas augenzwinkernd, aber auch ernst gemeint. Ich finde diese Konferenz großartig, und als Technologen sollten wir alles tun, damit die Technologie sicher und nützlich bleibt. Natürlich gibt es bei jeder einzelnen Anwendung, etwa selbstfahrenden Autos, eine ganze Reihe ethischer Fragen zu klären. Aber ich glaube nicht, dass wir das Problem allein technisch lösen können. Stellt euch vor, wir hätten unsere Arbeit perfekt gemacht und die sicherste, nützlichste KI geschaffen, die möglich ist, aber wir hätten zugelassen, dass das politische System totalitär und böse wird. Entweder eine böse Weltregierung oder auch nur ein Teil der Welt, der so ist. Dann wird das nicht gut ausgehen. Ein Teil des Kampfes findet also auf dem Gebiet der Politik und der Sozialpolitik statt, damit die Welt die Werte widerspiegelt, die wir erreichen wollen. Denn wir reden von KI auf menschlichem Niveau. KI auf menschlichem Niveau ist per Definition auf menschlichem Niveau und damit menschlich. Und deshalb ist die Frage, wie wir Menschen ethisch machen, dieselbe wie die Frage, wie wir KIs auf menschlichem Niveau ethisch machen.
Ja. Ich höre heraus: Bevor wir uns einer KI auf menschlichem Niveau nähern, besteht eine sehr gute Vorbereitung darin, dass wir Menschen in unserer Gesellschaft versuchen, uns so gut wie möglich zusammenzureißen, und dafür sorgen, dass die Welt vernünftiger geführt wird als heute vielleicht. Ist das fair?
Ich möchte auch noch einmal klarstellen: Als ich gefragt habe, was ihr tun würdet, um die Dinge zu bremsen, meinte ich überhaupt nicht, die KI-Forschung jetzt zu bremsen. Es geht einfach darum: Wenn wir an den Punkt kommen, an dem wir sehr nahe an KI auf menschlichem Niveau sind und mit einer sehr schnellen Entwicklung rechnen, wie könnte man diesen Teil verlangsamen?
Panelist
Eine Methode wäre, jetzt schneller voranzukommen, damit man diesen Punkt früher erreicht. Wenn die Hardware weniger weit entwickelt ist, gibt es weniger Hardware-Überhang. Allerdings lässt sich die derzeitige Geschwindigkeit des KI-Fortschritts nur schwer stark verändern, weil große Kräfte dahinterstehen. Die Option mit der größeren Hebelwirkung ist also vielleicht das, was ich im Vortrag vorgeschlagen habe: dafür zu sorgen, dass wer zuerst ankommt, genug Vorsprung hat, um ein paar Monate langsamer zu machen, sagen wir, um während des Übergangs langsam vorzugehen.
Nun, ich denke, eine Sache, die man tun kann – das gehört fast in den Bereich der Verifikation –, ist, Systeme zu bauen, die nachweislich keine zusätzliche Hardware rekrutieren oder ihre Hardware umgestalten, sodass ihre Ressourcen fix bleiben. Und ich wäre ganz zufrieden, mehrere Jahre dazusitzen und gründlich darüber nachzudenken, was der nächste Schritt in diese Richtung wäre.
Software zu kopieren ist trivial. Software repliziert sich selbst, das war schon immer so. Und ich sehe nicht, wie man das verhindern könnte.
Panelist
Ich fände es großartig, wenn es langsam ginge, aber es ist sehr schwer zu sehen, wie es langsam gehen soll, angesichts der enormen Vorteile für den, der als Erster bei der Superintelligenz ankommt. Das einzige Szenario, in dem ich sehe, dass es langsam gehen könnte, ist eines, in dem es nur einen möglichen Vorreiter gibt, der dann innehalten und nachdenken kann. Das spricht vielleicht dafür, eine Gesellschaft zu schaffen, in der KI reguliert und gebündelt ist, ohne mehrere konkurrierende Akteure.
Ja, Demis, dein Kollege Shane Legg hat erwähnt, dass hier vor allem Dinge wie diese Industriepartnerschaft helfen könnten, und ein Gefühl von Vertrauen und Offenheit zwischen den führenden Köpfen. Sodass, wenn es einen Punkt gibt…
… wo, ja, dieses Szenario macht mir Sorgen. Ich habe ziemlich großes Vertrauen in den menschlichen Erfindungsreichtum, diese Probleme zu lösen, wenn genug Zeit da ist. Die Kontrollprobleme und andere Fragen sind sehr schwierig, aber ich glaube, wir können sie lösen. Das Problem ist das Koordinationsproblem: sicherzustellen, dass am Ende genug Zeit bleibt, um abzubremsen und Stuart fünf Jahre darüber nachdenken zu lassen. Aber was ist mit… Er macht das vielleicht, aber was ist mit all den anderen Teams, die die Papers lesen und nicht warten werden, während man nachdenkt? Und das ist es, was mir ziemlich große Sorgen macht, denn dieses Koordinationsproblem scheint ziemlich schwierig zu sein. Aber ich denke, ein erster Schritt ist vielleicht, sich zu koordinieren, mit Dingen wie der Partnership on AI, damit sich die fähigsten Teams zumindest auf eine Reihe von Protokollen oder Sicherheitsverfahren einigen und zum Beispiel vereinbaren, dass diese Systeme verifiziert werden sollten. Und dass das drei Jahre dauern wird und wir darüber nachdenken sollten. Ich denke, das wäre eine gute Sache. Ich möchte nur eine Einschränkung zum langsamen oder schnellen Fortschritt machen: Stellt euch vor, es gäbe 50 Jahre lang ein Moratorium für KI-Forschung, aber die Hardware würde weiter so beschleunigen wie heute. Das war ungefähr Nicks Punkt: Es könnte einen massiven Hardware-Überhang geben, und dann wären viele verschiedene Ansätze für KI möglich, einschließlich Seed-KI, sich selbst verbessernder KI, all diese Dinge, und vielleicht könnte es eine einzelne Person in ihrer Garage schaffen. Und ich glaube, so eine Situation wäre viel schwieriger zu koordinieren. Dagegen kann man argumentieren, dass man schnell vorankommen sollte, solange wir im sehr schwierigen Teil der S-Kurve sind, wo man tatsächlich ein ziemlich großes, gut sichtbares Team braucht und weiß, wer die anderen sind. Und in gewissem Sinne kann die Gesellschaft im Blick behalten, wer die Hauptakteure sind und was sie vorhaben. Im Gegensatz zu einem Szenario, in dem in 50 oder 100 Jahren ein Kind in seiner Garage eine Seed-KI oder so etwas erschaffen könnte.
Bart, ein letzter Kommentar zu diesem Thema.
Da ich glaube, dass dieser Prozess sehr unregelmäßig verlaufen wird, mit Aufgaben, bei denen wir weit fortgeschritten sind, und anderen, bei denen es ziemlich langsam vorangeht, hoffe ich, dass die Gesellschaft, wenn sie so etwas wie gefälschte Videos sieht, in denen man jemanden erfundene Dinge sagen lässt, tatsächlich erkennt, dass Maschinen diese neuen Fähigkeiten haben, und dass wir das Problem als Gesellschaft ernster nehmen sollten, bevor wir eine vollständige, allgemeine KI haben.
Wir werden KI einsetzen, um das zu erkennen.
Du hast also das Wort „Sorge“ benutzt, und du, Nick, bist noch ein Stück weiter gegangen. Auf deinen Folien stand dreimal das Wort „Untergang“. Kein Wunder, dass es auf Amazon einen Stern gab, den ich vergeben habe, und dass er sogar rot war. Ich finde es genauso wichtig, über existenzielle Hoffnung und die fantastischen Chancen zu sprechen wie über die Risiken. Und darüber möchte ich hier viel reden. Bringen wir also jetzt ein paar dieser Sorgen hinter uns und kommen dann zu den positiven Dingen zurück. Ich möchte schnell reihum gehen und jedem von euch die Chance geben, eine Sache zu nennen, die ihr für eine zu bewältigende Herausforderung haltet, und dann zu sagen, was eurer Meinung nach das Beste ist, was wir jetzt tun können, um sie abzuschwächen. Willst du anfangen, Jaan?
Nenne eine Sache, bei der du befürchtest, dass sie schiefgehen könnte, und sag uns etwas Konstruktives, das wir jetzt tun können, um dieses Risiko zu verringern.
Panelist
Oh, ich finde, bei der KI sehe ich viel Gutes. Es ermutigt mich wirklich, die guten Kontakte zwischen OpenAI und DeepMind zu sehen. Aber ich glaube, das ist nur so eine Art Spielzeugmodell dessen, was die Welt insgesamt an Wettrüsten hervorbringen könnte. Und ich selbst habe in letzter Zeit immer mehr Zeit in Asien verbracht, um zu versuchen, auch anderswo mehr Leute einzubinden. Bisher war das ja überwiegend eine angloamerikanische Diskussion. Das ist also, denke ich, etwas, das getan werden sollte, und ich werde es tun.
Nun, als jemand außerhalb dieses Fachgebiets ist die Herausforderung, die ich wirklich spüre, wie schwer es ist, die Sicherheitsbedenken emotional ernst zu nehmen, und wie schwer das auch für die Leute aus dem Fach ist. Ich kann gar nicht sagen, wie viele Leute außerhalb dieses Raums, die sich als Experten ausgeben, das Kontrollproblem für völlig belanglos halten. Es ist verblüffend, diese Leute zu treffen, und deshalb lohnt es sich nicht, darüber nachzudenken. Und einer der Gründe ist, glaube ich, dass es in einem Fall diese Illusion gibt, dass der Zeithorizont eine Rolle spielt. Wenn man das Gefühl hat, dass das 50 oder 100 Jahre entfernt ist, ist das völlig beruhigend. Aber da steckt eine implizite Annahme drin. Die Annahme ist, dass man weiß, wie lange es dauern wird, das sicher zu bauen, und dass 50 oder 100 Jahre genug Zeit sind. Das andere Problem ist, dass die meisten Menschen, glaube ich, Intelligenz für ein Gut an sich halten, und natürlich wollen wir mehr davon. Und es ist sehr leicht, diese Annahme nachzuvollziehen, denn genau jetzt gibt es ein Heilmittel gegen Krebs, das wir noch nicht entdeckt haben. Wie ärgerlich ist das denn? Und wäre da nicht der Mangel an Intelligenz, wüssten wir, welche Experimente wir durchführen oder wie wir die vorhandenen Daten zusammenführen sollen, hätten wir schon jetzt ein anwendbares Heilmittel gegen Krebs, es sei denn, ein physikalisches Gesetz des Universums verhindert, dass wir Krebs heilen, was unwahrscheinlich scheint. Der Schmerz, nicht genug Intelligenz zu haben, ist also wirklich quälend, wenn man sich darauf konzentriert. Aber, und ich denke, um auf Ihre vorherige Frage zurückzukommen, wird Schnelligkeit dann zu einem Gut an sich, vorausgesetzt, wir haben die Alignment-Probleme, die politischen Probleme und das Chaos gelöst, das folgen würde, wenn wir einfach… Wenn wir es schnell täten, ohne diese Probleme zu lösen. Ich denke also, es ist… Was alarmierend ist, ist, wie abstrakt diese Bedenken bleiben, selbst für diejenigen, die kein rationales Argument dagegen haben.
Sam, es klingt für mich so, als ob Sie Shane Legg stark zustimmen, dass es in manchen Kreisen immer noch dieses starke Tabu gibt: Denk nicht einmal an die Möglichkeit, dass wir AGI bekommen könnten, weil das absolut lächerlich ist. Und er argumentierte, je eher wir dieses Tabu loswerden, desto eher können die Leute an die Arbeit gehen und all die wirklich hilfreichen Lösungen und Antworten finden, die wir brauchen. Stellen Sie sich also einen Moment vor, ich käme zu Ihnen und sagte: Diese Idee einer übermenschlichen Intelligenz klingt absolut lächerlich, völlig verrückt. Und übrigens habe ich Ihren TED-Talk nie gesehen, und wir stehen in einem Aufzug. Sie haben nur 30 Sekunden, um mich zu überzeugen, das ernster zu nehmen. Was würden Sie sagen? Und viele hier werden genau dieses Gespräch mit Kollegen und anderen führen.
Nun, man braucht sehr wenige Annahmen, um das intellektuell ernst zu nehmen. Auch hier ist der emotionale Teil eine andere Sache. Aber wenn man annimmt, dass Intelligenz auf einer gewissen Ebene nur das Produkt von Informationsverarbeitung in einem physischen System ist, und das bestreiten heute nur sehr wenige wissenschaftlich gebildete Menschen, und wenn man annimmt, dass wir unsere informationsverarbeitenden Systeme weiter verbessern werden, sofern uns nichts Schreckliches daran hindert, und das scheint eine sehr sichere Annahme, dann ist es nur eine Frage der Zeit, bis wir in unseren Computern etwas auf menschlichem Niveau und darüber hinaus erschaffen.
noch einmal: Der Zeithorizont ist nur beruhigend unter der Annahme, dass wir genug Zeit haben, die Alignment-Probleme und die politischen Probleme zu lösen, die auf uns zukommen. Ich meine, das andere, was hier demütig macht und was Ray an einer Stelle angesprochen hat: Selbst wenn uns eine vollkommen gutartige, wohlerzogene KI direkt von Gott geschenkt würde, ein perfektes Orakel, ein perfekter Erfinder guter Technologie, würde das angesichts unseres aktuellen politischen und wirtschaftlichen Klimas totales Chaos erzeugen. Wir haben einfach nicht… Wir haben nicht den ethischen oder politischen Willen, den Wohlstand zu teilen. Wir haben nicht die politische Integration, um damit umzugehen, dass dieses Ding dem Silicon Valley gegeben wird und nicht gleichzeitig China oder dem Iran. Es ist also alarmierend, dass das derzeit beste Szenario, bei dem man im Grunde 80 % von Nicks Buch herausreißt, weil wir all diese Probleme gelöst haben, immer noch ein erschreckendes ist. Und das ist also eindeutig ein kurzfristiges Problem, das wir lösen müssen.
Danke, Sam. Demis, möchten Sie uns von einer Herausforderung erzählen, die Sie sehen, und sagen, worauf wir uns jetzt konzentrieren sollten?
Panelist
Ja, packen wir's an.
Ich denke, wissen Sie, ich stimme beiden bisherigen Aussagen zu. Ich denke also, das Koordinationsproblem ist eines: Wir wollen dieses schädliche Wettrennen zur Ziellinie vermeiden, bei dem man anfängt, Abkürzungen zu nehmen, und Dinge wie Sicherheit leicht gestrichen werden, weil sie offensichtlich nicht direkt zur Leistungsfähigkeit der KI beitragen. Tatsächlich kann eine sichere KI sie sogar etwas bremsen. Ich denke also, das wird ein großes Thema auf globaler Ebene, und es scheint ein schwieriges Problem zu sein, wenn es um nationale Regierungen und dergleichen geht. Und ich denke auch, dass wir nicht genug über das ganze Thema Governance nachgedacht haben: Wie wollen wir, dass diese KIs in der Welt sind, wie viele davon, und wer legt ihre Ziele fest? All diese Dinge brauchen, glaube ich, viel mehr Nachdenken, sobald wir die technischen Probleme gelöst haben.
Ich finde es großartig, dass Sie diese Dinge nicht nur sagen, sondern auch tun. Da Sie eine führende Rolle beim Aufbau der Partnership on AI gespielt haben, die genau in die Richtung geht, die Sie hier vertreten, möchten Sie an Nick übergeben? Gern. Es gibt überhaupt nichts, worüber Sie sich Sorgen machen, oder? Erzählen Sie uns also von einer konkreten, nützlichen Sache, die Sie gern von uns sehen würden.
Panelist
Dem stimme ich zu. Ich meine: technische Arbeit finanzieren, Spitzentalente an diese technischen Fragen holen, diese Kooperationen aufbauen, eine Gemeinschaft aufbauen, Vertrauen aufbauen, und mehr daran arbeiten, attraktive Lösungen für die Governance zu finden. Lösungen, die funktionieren könnten. Aber stürzen Sie sich nicht darauf, die erste Idee umzusetzen, sondern erproben Sie sie erst noch etwas mehr. Ich denke viel über Bewusstsein nach, deshalb ist mir der Vorsichtsgrundsatz zur Empfindungsfähigkeit in meiner Liste von Prinzipien besonders aufgefallen. Er besagt: Vermeiden Sie starke Annahmen über die Verteilung von Bewusstsein in KIs, was, wie ich es verstehe, bedeutet… Vermeiden Sie die Annahme, dass jede AGI auf menschlichem oder übermenschlichem Niveau bewusst sein wird. Für mich eröffnet das die Möglichkeit eines massiven Fehlschlags in der Zukunft. Die Möglichkeit, dass wir eine AGI auf menschlichem oder übermenschlichem Niveau erschaffen und eine Welt voller übermenschlicher AGIs haben, von denen keine bewusst ist. Und das wäre eine Welt, die potenziell eine Welt großer Intelligenz sein könnte. Kein Bewusstsein, überhaupt kein subjektives Erleben. Nun vertreten, glaube ich, sehr viele Menschen mit ganz unterschiedlichen Ansichten die Auffassung, dass subjektives Erleben oder Bewusstsein grundsätzlich nötig ist, damit das Leben überhaupt Sinn oder Wert hat. Eine Welt ohne Bewusstsein könnte also unmöglich ein positives Ergebnis sein. Vielleicht wäre es kein furchtbar negatives Ergebnis, es wäre einfach ein Null-Ergebnis und eines der schlimmstmöglichen. Deshalb liegt mir daran, dieses Ergebnis jetzt zu vermeiden. Tatsächlich bin ich recht optimistisch, was die Möglichkeit angeht, dass KIs verschiedener Art bewusst sein werden. Aber insofern diese Gemeinschaft diese Annahme trifft, halte ich es für wichtig, wirklich über die Frage nachzudenken: Erschaffen wir mit AGIs tatsächlich bewusste Wesen? Ich denke, etwas, das wir dort zumindest in Betracht ziehen sollten, ist… Da wir Bewusstsein nicht verstehen und keine vollständige Theorie des Bewusstseins haben, können wir uns vielleicht dann am sichersten sein, wenn es dem Fall ähnelt, den wir am besten kennen, nämlich dem menschlichen Bewusstsein. Es gibt also vielleicht einen Imperativ, eine menschenähnliche AGI zu erschaffen, damit wir maximal sicher sein können, dass es Bewusstsein geben wird.
Was ich also höre, ist: Wenn Sie einen Albtraum von der Zombie-Apokalypse haben, denken Sie nicht an einen albernen Terminator-Film, sondern an dieses Problem. Wir laden uns hoch, tun all diese wunderbaren Dinge, aber es ist niemand zu Hause. Kann man das so sagen?
Panelist
Ich meine, das ist eine andere Art von existenziellem Risiko. Eine Art von existenziellem Risiko ist, dass es keine Menschen mehr gibt, es gibt… Es gibt KI. Manche würden sagen: Na gut, das ist in Ordnung, das sind unsere Nachfolger. Ein viel schlimmeres existenzielles Risiko ist, dass es in unserer Zukunft keine bewussten Wesen gibt.
Ich mache also ein Geständnis. Shane Legg erwähnte, dass es ein starkes Tabu gibt, über die Möglichkeit zu sprechen, dass Intelligenz sehr weit fortgeschritten wird. Es gibt offensichtlich auch seit langem ein starkes Tabu, das B-Wort zu erwähnen. Tatsächlich, vor der Konferenz, als wir all die Antworten aus der ersten Runde zu den Prinzipien bekamen, raten Sie mal, welches auf dem letzten Platz landete? Es bekam eine riesige Menge an Minus-eins-Bewertungen. Es war das mit dem Bewusstsein. Also haben wir es in Empfindungsfähigkeit geändert. Es war schrecklich formuliert, und wir haben es besser formuliert. Und dann wurde es beim Mittagessen noch besser formuliert, und es landete immer noch auf dem letzten Platz. Deshalb, obwohl, obwohl ich persönlich Ihr Interesse daran teile…
Panelist
viel, 88 % der Leute stimmten
dem Vorsichtsgrundsatz zur Empfindungsfähigkeit zu, aber nicht 90. Also ist auch dieser von der Liste gefallen. Vielleicht ist das also ein weiteres Tabu, das Sie persönlich uns helfen können zu brechen. Damit die Leute mehr über diese Frage nachdenken. Ray, gibt es etwas, das Sie beunruhigt, und irgendetwas…
Was ich sagen wollte, aber
nur um darauf zu antworten,
eine umgekehrte Sorge ist, dass wir AGIs erschaffen. Alle nehmen an, dass es natürlich nur eine Maschine ist und deshalb kein Bewusstsein hat, aber in Wirklichkeit leidet sie. Aber wir kümmern uns nicht um ihr bewusstes subjektives Erleben, weil wir die falsche Annahme treffen. Was ich aber sagen wollte: Es gibt drei sich überschneidende Revolutionen, von denen man spricht. GNR: Genetik, also Biotech, Nanotechnologie und Robotik, also KI. Und es gibt Vorschläge, die Asilomar-Konferenzen, die hier vor Jahrzehnten zur Biotechnologie stattfanden, und die ziemlich gut funktioniert haben. Es gibt ähnliche Vorschläge für die Nanotechnologie. Bei KI gibt es einen Unterschied: Es gibt wirklich keine narrensichere technische Lösung dafür. Man kann technische Kontrollen etwa bei der Nanotechnologie haben. Eine der Richtlinien ist, dass sie sich nicht selbst replizieren darf. Das ist nicht wirklich realistisch, weil sie ohne Selbstreplikation nicht auf nennenswerte Mengen skalieren kann. Aber man kann sich technische Schutzmechanismen vorstellen. Wenn man eine KI hat, die intelligenter ist als man selbst und auf die eigene Zerstörung aus ist, oder auf die Zerstörung der Welt, und es keine andere KI gibt, die ihr überlegen ist, dann ist das eine schlimme Lage. Das ist das Schreckgespenst. Und das wird teilweise verstärkt durch unsere Beobachtung dessen, was wir Menschen, die intelligenteste Spezies auf dem Planeten, anderen Arten angetan haben. Wenn man sich ansieht, wie wir Tiere behandeln: Die Leute lieben ihre Hunde und Haustiere sehr. Aber wenn man sich die Massentierhaltung ansieht, sind wir nicht sehr gütig gegenüber Arten, die weniger intelligent sind als wir. Das erzeugt einen Großteil der Sorge. Wir sehen: Wenn es eine neue Art von Wesen gibt, das intelligenter ist als wir, wird es uns so behandeln, wie wir andere Arten behandelt haben. Das ist also die Sorge. Wissen Sie, ich denke, was wir auf dieser Konferenz tun, ist angemessen. Ich wollte erwähnen, dass wir diese Richtlinien meiner Meinung nach veröffentlichen sollten, so wie die Asilomar-Richtlinien zur Biotechnologie vor Jahrzehnten veröffentlicht wurden. Und dann können die Leute, man kann eine Zustimmung oder Ablehnung vorsehen. Aber ich finde, wir sollten tatsächlich sagen: Wir hatten diese Konferenz, die führenden Köpfe der KI-Gemeinschaft haben diese Richtlinien erarbeitet, die Leute können darauf reagieren und darüber debattieren, und vielleicht überarbeiten wir sie auf der nächsten Konferenz. Unsere Biotech-Richtlinien wurden viele Male überarbeitet, aber ich würde dafür plädieren, dass wir tatsächlich Stellung beziehen, diese Richtlinien vorlegen, die ganze Gemeinschaft darüber debattieren lassen und sie unsere Forschung leiten lassen. Das hat in der Biotechnologie tatsächlich recht gut funktioniert.
Okay, ja. Lassen Sie mich also eine etwas andere Perspektive einbringen. Eine Sorge, die ich auf übergeordneter Ebene habe, ist: Wenn diese Maschinen wirklich klug werden, auch nur in bestimmten Bereichen, können Menschen dann noch verstehen, welche Entscheidungen sie vorschlagen oder treffen? Und ich arbeite im Bereich des automatisierten Schließens, wo wir in den letzten zwei Jahrzehnten erhebliche Fortschritte gemacht haben: von Problemen mit ein paar hundert Variablen zu Problemen mit Millionen von Variablen, die heute ganz routinemäßig gelöst werden. Und in der Gemeinschaft herrschte das Gefühl: Wir bekommen Antworten von diesen Schlussfolgerungsmaschinen, meist zu Hardware- und Softwareproblemen, aber Menschen können diese Antworten nicht mehr verstehen. In den letzten Jahren hat man tatsächlich entdeckt, dass man die Maschine nutzen kann, um Erklärungen für ihre Antworten zu erzeugen, die wiederum für Menschen verständlich sind. Ich sehe also einen Hoffnungsschimmer, dass wir, selbst wenn wir viel weniger intelligent sind, die Lösungen verstehen können, die Maschinen für uns finden. Wir hätten diese Lösungen nicht finden können, aber sie können vielleicht Erklärungen liefern, die für uns zugänglich sind. Das ist also eine kleine positive Note.
Es gibt also zwei Dinge, die mich nachts wach halten, abgesehen von E-Mails. Das eine ist das Problem des Missbrauchs und böswilliger Akteure. Um einen Vergleich zu ziehen: Es ist, als würden wir Atomwaffen bauen und sie per E-Mail an alle Menschen auf dem Planeten schicken mit den Worten: Hier ist ein Spielzeug, macht damit, was ihr wollt. Wie wir dem begegnen? Ich muss sagen, ich habe keine wirklich gute Lösung. Ich denke, eines der Dinge, die wir tun müssen, ist, Entwürfe für sichere KI sehr klar und einfach zu machen und es sozusagen undenkbar zu machen, etwas anderes zu tun. So wie es undenkbar ist, ein Programm mit einer Endlosschleife zu haben, das das sich drehende Rad des Todes auf Ihrem… Oh, Entschuldigung. Nun, es ist undenkbar, einen Pufferüberlauf zu haben, durch den Ihre Software gehackt werden kann. Das andere, was mich wach hält, ist tatsächlich die Möglichkeit, dass der Erfolg dazu führt, dass die KI zu einer Helikopter-Mutter für die Menschheit wird, die uns erstarren lässt und allmählich schwächt. Sodass es keinen Moment gäbe, an dem uns klar würde, dass das gerade passiert. Und ich denke, die Abhilfe, nach der Sie gefragt haben, um die positive Seite zu sehen, ist, dass der Metawert der menschlichen Entwicklungsfähigkeit, die Freiheit, die Zukunft zu verändern, in gewissem Sinne etwas ist, das die KI übernehmen muss. Und in gewissem Sinne würde das letztlich dazu führen, dass die KI in den Hintergrund tritt und sagt: Okay, ich habe euch durch eure Jugend gebracht, jetzt ist es Zeit, dass die Menschheit erwachsen wird, jetzt, da wir die Fähigkeit haben, Knappheit, unnötige Konflikte, Koordinationsversagen und all das zu beseitigen, worunter wir heute leiden. Ich kann mir also eine ferne Zukunft vorstellen, in der KI tatsächlich vielleicht sogar weniger sichtbar ist als heute. Großartig.
Und schließlich Sie, Elon: Soweit ich weiß, haben Sie noch nie irgendwelche Bedenken zu KI geäußert. Genau. Ich frage mich nur, ob alles gut gehen wird, ob es bestimmte Bedenken gibt, Bedenken, die Sie… Wo Sie etwas ganz Klares sehen, das wir jetzt tun sollten und das
Nun, ich habe versucht nachzudenken, was eigentlich eine gute Zukunft ist. Wie sieht das tatsächlich aus, oder zumindest eine schlechte, oder wie auch immer man es beschreiben will. Denn wie vorhin gesagt wurde, vielleicht von Sam, vielleicht auch von anderen: Wir steuern entweder auf Superintelligenz zu oder auf das Ende der Zivilisation. Das sind sozusagen die zwei Dinge, die passieren werden. Die Intelligenz wird weiter fortschreiten. Das Einzige, was den Fortschritt verhindern würde, wäre etwas, das die Zivilisation zum Stillstand bringt oder sie zerstört. Also müssen wir herausfinden, in welcher Welt wir leben möchten, in der es diese digitale Superintelligenz gibt. Ich denke, die… Ein weiterer Punkt, den man, glaube ich, wirklich verstehen muss: Wir alle sind bereits Cyborgs. Man hat eine maschinelle Erweiterung seiner selbst in Form des Telefons, des Computers und all der Anwendungen. Man ist bereits bei weitem übermenschlich. Man hat mehr Macht, mehr Fähigkeiten als der Präsident der Vereinigten Staaten vor 30 Jahren. Wenn man einen Internetanschluss hat, hat man ein Orakel der Weisheit. Man kann mit Millionen von Menschen kommunizieren. Man kann sofort mit dem Rest der Erde kommunizieren. Das sind magische Kräfte, die es vor gar nicht so langer Zeit noch nicht gab. Jeder ist also bereits übermenschlich und ein Cyborg. Die Einschränkung ist die Bandbreite. Wir sind durch die Bandbreite begrenzt, besonders bei der Ausgabe. Unsere Eingabe ist viel besser, aber unsere Ausgabe ist extrem langsam. Großzügig gerechnet könnte man sagen, es sind vielleicht ein paar hundert Bit pro Sekunde oder ein Kilobit oder so bei der Ausgabe. Wir geben Informationen aus, indem wir kleine Fleischstäbchen sehr langsam bewegen und Knöpfe drücken oder auf einen kleinen Bildschirm tippen, und das ist einfach extrem langsam. Und vergleichen Sie das mit einem Computer, der im Terabyte-Bereich kommunizieren kann. Das sind gewaltige Unterschiede um viele Größenordnungen. Unsere Eingabe ist dank des Sehens viel besser, aber selbst das ließe sich deutlich verbessern. Ich denke, die zwei Dinge, die für eine Zukunft nötig sind, die wir höchstwahrscheinlich als gut betrachten würden: Wir müssen diese Bandbreitenbeschränkung mit einer direkten neuronalen Schnittstelle lösen, einer Hochbandbreiten-Schnittstelle zum Kortex, damit wir eine digitale tertiäre Schicht haben, die vollständiger symbiotisch mit dem Rest von uns ist. So wie wir den Kortex und das limbische System haben, die ziemlich gut zusammenzuarbeiten scheinen. Sie haben eine gute Bandbreite, während die Bandbreite zu unserer digitalen tertiären Schicht schwach ist. Ich denke also, wenn wir dieses Bandbreitenproblem lösen und KI dann breit verfügbar ist… Die Analogie zur Atombombe stimmt nicht ganz. Es ist nicht so, dass sie explodiert und einen Atompilz erzeugt. Es ist eher so: Wenn nur wenige Leute sie hätten, könnten sie im Grunde zu Diktatoren der Erde werden, oder eben wer auch immer sie erlangt hat. Und wenn sie auf 100 Leute beschränkt wäre und extrem intelligent, hätten diese die Herrschaft über die Erde. Ich halte es also für extrem wichtig, dass sie weit verbreitet ist und dass wir das Bandbreitenproblem lösen. Und wenn wir das tun, wird sie an unser Bewusstsein gebunden sein, an unseren Willen, an die Summe des individuellen menschlichen Willens, und jeder hätte sie. Es wären also immer noch relativ gleiche Ausgangsbedingungen. Tatsächlich wäre es wahrscheinlich egalitärer als heute.
Großartig, vielen Dank. Das ist tatsächlich die perfekte Überleitung zur letzten Frage, die ich Ihnen stellen möchte, bevor wir für alle öffnen. Was mir in der Diskussion über wirklich fortgeschrittene, übermenschliche Intelligenz sehr gefehlt hat, ist mehr Nachdenken über die positiven Seiten. Wir reden so viel über existenzielles Risiko, und nicht nur im akademischen Kontext: Schalten Sie einfach den Fernseher ein, schauen Sie auf Netflix. Was sieht man dort in diesen wissenschaftlichen Zukunftsvisionen? Fast immer Dystopien, oder? Aus irgendeinem Grund bringt Angst mehr Klicks als positive Visionen. Aber wenn eine Studentin in mein Büro am MIT kommt und um Karriereberatung bittet, frage ich sie als Erstes: Wo willst du in 20 Jahren sein? Und wenn sie nur sagt: Na ja, vielleicht bekomme ich Krebs, vielleicht werde ich von einem Bus überfahren, dann ist das eine schreckliche Art, über Karriereplanung nachzudenken. Ich will, dass sie Feuer und Flamme ist und sagt: Meine Vision ist, das zu tun, und das sind die Dinge, die schiefgehen könnten, und dann kann man planen, wie man diese Probleme vermeidet und ans Ziel kommt. Ich würde gern mehr Diskussion über die positiven Seiten sehen, über die Zukünfte, auf die wir uns wirklich freuen. Damit wir nicht nur versuchen, Probleme um ihrer selbst willen zu vermeiden, sondern etwas erreichen, wofür wir alle wirklich brennen. Zum Einstieg erzähle ich Ihnen etwas, das mich an fortgeschrittener künstlicher Intelligenz wirklich begeistert. Alles, was ich an der Zivilisation liebe, ist ein Produkt der Intelligenz. Wenn wir aus irgendeinem Grund sagen würden: Na ja, diese Technologie macht mir Angst, oh, drücken wir einfach für immer auf Pause. Dann gibt es keine interessante Frage mehr, ob die Menschheit aussterben wird. Die Frage ist nur, wann: Wird es ein Supervulkan sein? Wird es der nächste Asteroid der Dinosaurier-Killer-Klasse sein? Der letzte war vor 60 Millionen Jahren. Wie lange wird es also… Es ist eine ziemlich schreckliche Zukunft, einfach dazusitzen und sich zu fragen, wann wir ohne die Technologie ausgelöscht werden, wenn wir doch wissen, dass wir die geistige Kraft haben, all diese Probleme zu lösen, wenn wir vorangehen und Technologie entwickeln. Das war nur eine Sache, die mich sehr begeistert, voranzugehen. Statt auf Pause zu drücken, möchte ich Ihnen allen der Reihe nach dieselbe Frage stellen. Erzählen Sie uns also ganz kurz von etwas, das Sie wirklich begeistert. Eine Zukunftsvision mit sehr fortgeschrittener künstlicher Intelligenz, die Sie wirklich begeistert und die Sie gern sehen würden. Jaan.
Panelist
Ich möchte vorsichtig sein, wenn ich mir konkrete Früchte der AGI vorstelle. Auf einer Metaebene denke ich, als erste Näherung sollten wir einfach den Spaß maximieren und das Leid minimieren. Ich glaube, Eliezer hat eine Reihe namens Fun Theory geschrieben, in der er darauf hinweist, dass die Menschen schrecklich und sehr fantasielos darin waren, sich Paradiese aller Art auszumalen. Das sind eigentlich wirklich langweilige Orte, wenn man darüber nachdenkt. Ich glaube, Eddie Izzard hat diesen Sketch, in dem er sagt: Es war schon schwer, ein Wochenende mit meinen Verwandten zu verbringen. Stell dir vor, die Ewigkeit mit den toten Verwandten zu verbringen. Aber ich denke also, wir sollten uns um Nebenwirkungen sorgen, versuchen, Verbesserungsdynamiken einzufangen, und im Grunde von dort aus weitergehen. Sicherstellen, dass wir die Richtung anpassen können, während wir klüger werden und gemeinsam reifen. Großartig.
Danke, Jaan. Sam, was begeistert Sie?
Nun, seltsamerweise grenzt das, was mich begeistert, direkt an das, was mir am meisten Angst macht. Ich denke, das Schöne an diesem Gespräch, insbesondere über das Alignment-Problem, ist, dass es uns zwingt zu erkennen, dass es bessere und schlechtere Antworten auf Fragen menschlicher Werte gibt. Und wie jemand vielleicht beim letzten Treffen in Puerto Rico sagte: Wir müssen wirklich Philosophie unter Zeitdruck betreiben, uns eingestehen, dass es bessere und schlechtere Antworten gibt, und uns auf die besseren einigen. Und was würde mich an der Geburt einer superintelligenten KI begeistern? Eines der Dinge, abgesehen von der Lösung offensichtlicher Probleme wie der Heilung von Krankheiten, Energiefragen und dem ganzen Rest, und da weiche ich vielleicht etwas von Stuart ab. Ich mache mir nicht so viele Sorgen um Idiokratie oder darum, dass wir alle als Affen den Weg verlieren und unproduktive Leben im Dialog mit diesen Orakeln führen. Ich denke, ich würde mir tatsächlich wünschen, dass eine wirklich wertekonforme Superintelligenz uns schrittweise nicht nur zeigt, wie wir bewahren, was wir wollen, sondern was wir wollen sollten, damit wir unsere Werte immer weiter verbessern, uns im Raum aller möglichen Erfahrungen bewegen und uns auf immer bessere zubewegen können.
Danke, Sam. Und Sie, Demis?
Nun, offensichtlich habe ich deshalb meine ganze Karriere damit verbracht: Ich denke, wenn wir es richtig machen, wird es das Größte sein, was der Menschheit je passiert ist, und in gewisser Weise unser volles Potenzial freisetzen. Ich habe in all meinen Vorträgen viel darüber gesprochen, sie als Werkzeug zu nutzen, das uns hilft, schneller wissenschaftliche und medizinische Durchbrüche zu erzielen. Ich denke, das ist offensichtlich, aber wenn man das längerfristig betrachtet… Ein Grund, warum ich mich so sehr für KI begeistert habe, ist, dass ich, wie wahrscheinlich viele von Ihnen in diesem Raum, mich für die größten Fragen interessiere, warum wir hier sind. Unseren Geist verstehen, was ist Bewusstsein, was ist die Natur des Universums, was ist unser Zweck? Und wenn wir uns wirklich mit einer dieser Fragen auseinandersetzen wollen, werden wir, glaube ich, so etwas wie KI brauchen, vielleicht auch mit uns selbst in erweiterter Form. Und ich denke, in dieser zukünftigen Welt werden wir die Chance haben, tatsächlich etwas über einige dieser wirklich tiefen Fragen herauszufinden. Wissen Sie, so wie wir es mit AlphaGo nur beim Go herausfinden, aber was, wenn wir das mit der ganzen Wissenschaft, der Physik und den größten Fragen des Universums tun könnten? Und ich denke, das herauszufinden wird die aufregendste Reise von allen sein. Eine Einschränkung zu ein paar anderen Dingen, die angesprochen wurden: dass wir derzeit die intelligentesten Wesen auf dem Planeten sind, Tiere schlecht behandeln und dergleichen. Aber wenn man darüber nachdenkt, nehmen wir mal, ich weiß nicht, Tiger in Indien: Sie haben riesige Reviere, und die Menschen dort sind sehr arm, sehr ressourcenarm. Aber wenn sie reichlich Ressourcen hätten, glaube ich nicht, dass sie absichtlich versuchen würden, diese Tiger auszurotten. Ich meine, in manchen Fällen schon, aber oft einfach, weil sie das Land für ihr Vieh brauchen, und so ist das. Der Tiger braucht, keine Ahnung, so und so viele Quadratkilometer zum Leben. Ein einziger Tiger. Und das ist bei der Zahl der Menschen dort einfach schwierig. Ich denke also, wenn wir das Problem von Überfluss und Knappheit lösen, entschärft das viele Konflikte, sowohl zwischen Menschen als auch solche, die im Kern mit Ressourcenknappheit zu tun haben. Ich sehe also… Wenn wir viele dieser Probleme lösen können, sehe ich eine viel bessere Zukunft.
Nick, Sie haben darauf hingewiesen, dass der Teil Ihres Buches über die positiven Seiten etwas kürzer ausgefallen ist. Jetzt haben Sie also die Chance, etwas Positives hinzuzufügen. Was begeistert Sie?
Panelist
Das hat wirklich zwei Seiten. Die eine ist, viele negative Dinge loszuwerden: durch einen mitfühlenden Einsatz, um Krankheiten und all die anderen schrecklichen Nöte zu heilen, die es heute auf dem Planeten gibt. Das ist also ein großer Teil des Potenzials. Aber darüber hinaus, wenn man realistisch sehen will, welche positiven Dinge entwickelt werden könnten, muss man, glaube ich, außerhalb der Grenzen unserer heutigen menschlichen biologischen Natur denken, denn es ist unrealistisch, sich einen Verlauf vorzustellen, der sich Hunderttausende von Jahren in die Zukunft erstreckt… … in dem wir Superintelligenz und materiellen Überfluss haben und trotzdem noch diese zweibeinigen Organismen mit anderthalb Kilo grauer Masse sind, mit einem festen Satz emotionaler Empfindlichkeiten und einem hedonischen Grundniveau, das für die meisten Menschen einigermaßen in Ordnung ist. Aber wenn einem etwas wirklich Gutes passiert, hält das nur kurz an, und dann ist man wieder auf dem Ausgangsniveau. Ich denke, all diese Grundparameter, die heute sozusagen das menschliche Spiel definieren, stehen in dieser Zukunft zur Disposition. Und das eröffnet diesen viel größeren Raum posthumaner Daseinsformen, von denen einige, glaube ich, wunderbar sein könnten, buchstäblich jenseits unserer Vorstellungskraft, was Geisteszustände, Arten von Tätigkeiten, das Verstehen und die Arten, miteinander in Beziehung zu stehen, betrifft. Ich glaube also nicht, dass wir jetzt einen detaillierten Bauplan für die Utopie brauchen. Was wir brauchen, ist, uns in eine Position zu bringen, in der wir später die Fähigkeit haben, dies zu nutzen, um die Werte zu verwirklichen, die in den Blick kommen, sobald wir Schritte nach vorne machen.
Danke, Nick. Und Sie, David?
Panelist
Mich begeistern die Möglichkeiten, dass KI uns Menschen klüger macht. Ich meine, ein Teil davon ist egoistisch. Ich bin letztes Jahr 50 geworden. Mein Gehirn wird allmählich langsamer, älter und dümmer, aber ich bin mir nicht sicher, ob ich es werde. Und das liegt zum Teil daran, dass die Technologien erweiterter Intelligenz, die wir nutzen, Smartphones, das Internet und so weiter, mir alle möglichen Fähigkeiten geben, erweiterte Fähigkeiten, die ich vorher nicht hatte. Und ich freue mich wirklich darauf, dass KI dabei hilft, in etwa zehn Jahren, wenn alle Augmented-Reality-Brillen mit eingebautem Deep Learning tragen. Und ich werde das wirklich… Ich werde das um die 60 herum wirklich brauchen. Und wenn ihr euch wirklich ranhaltet und wir, bis ich etwa 70 bin, echte KI oder KI-Module haben, die sich irgendwie in meine Gehirnprozesse integrieren lassen, oder wir vielleicht irgendwann unser ganzes Gehirn in eine KI hochladen, dann gibt es… Gibt es potenziell einen Weg, für immer klüger und intelligenter zu werden. Und das ist nicht nur egoistisch, obwohl ich nicht behaupten kann, dass mich das nicht motiviert. Aber Demis hat über KI-Wissenschaftler gesprochen. Ich denke auch gern an den KI-Philosophen. Die Probleme der Philosophie sind wirklich schwer, und viele haben spekuliert, dass wir Menschen einfach zu dumm sind, um einige davon zu lösen. Aber sobald wir tatsächlich KIs haben, vielleicht durch KI erweiterte Menschen, können wir vielleicht diese Schwellen überschreiten, an denen die erweiterten Menschen, oder vielleicht nur die AGIs, einige dieser philosophischen Probleme ein für alle Mal lösen.
Großartig. Ray. Sie waren in Ihren Schriften ein echter Pionier darin, positive Zukunftsvisionen zu formulieren. Wenn Sie also die auswählen, die Sie heute am meisten begeistert, welche wäre das?
Stellen Sie sich vor, Sie reisen 10.000 Jahre zurück und fragen den typischen Höhlenmann und die Höhlenfrau: Sagt mal, was ist eine gute Zukunft? Was würdet ihr gern sehen? Und sie würden sagen: Na ja, ich hätte gern, dass dieses Feuer nicht mehr ausgeht, und ich hätte gern einen größeren Felsbrocken, damit die Tiere nicht in die Höhle kommen. Sonst noch etwas? Nein, ich glaube, das wäre ziemlich perfekt. Wollt ihr nicht eine bessere Website, bessere Apps und Suchmaschinen? Stellen Sie sich vor, Sie gehen 2 Millionen Jahre zurück und reden mit Primaten. Wenn man das könnte und sagen würde: Ist das nicht toll? Der Frontallappen kommt, ihr bekommt zusätzlichen Neokortex und eine höhere Hierarchie. Und sie sagen: Na und, wozu soll das gut sein? Und man sagt: Na ja, ihr bekommt Musik und Humor. Und ihre Antwort wäre: Was ist Musik? Was ist Humor? Sie konnten sich Begriffe, die sie sich nicht vorstellen konnten, eben nicht vorstellen. Und analog dazu werden wir, glaube ich, neue Phänomene haben, die so tiefgründig sind wie Musik und Humor. Man könnte sagen, tiefgründigere Musik, und es wird lustiger sein. Aber ich denke, es wird so tiefgreifend sein wie diese großen Sprünge, die uns die Evolution gebracht hat, weil wir tiefgreifend klüger werden. Und wenn Musik und Humor hier oben sind und wir zu noch höheren Ebenen des Neokortex gelangen, werden wir tiefgründigere Ausdrucksweisen haben. Und wenn wir das einmal haben, wollen wir nicht mehr zurück.
Nun, dem stimme ich weitgehend zu. Wir können nicht wirklich im Voraus vorhersagen, was wir gern hätten. Für mich persönlich sind die Entwicklungen in der Mathematik, bei wissenschaftlichen Entdeckungen und diese Hybride aus Mensch und Computer ganz unglaublich und machen unser Fachgebiet, unsere Arbeit, viel spannender. Ich denke also, das wird in naher Zukunft das Erste sein.
Großartig. Und Sie, Stuart?
Nun, wie Jeffrey Sachs denke ich, dass das Leben für viele von uns, und wahrscheinlich wie für den Höhlenmenschen, ziemlich großartig ist, und für noch viel mehr von uns nicht. Und ich denke, das Beste, was KI tun kann, der große Nutzen, ist tatsächlich… Das zweite Problem zu lösen. Ich mag Nicks Gefühl sehr, dass es höhere Daseinszustände gibt, die so weit über unserem jetzigen ziemlich guten Zustand liegen… … dass das all das ziemlich Schlechte aufwiegt, unter dem viele Menschen leiden. Aber ich denke wirklich, der Schwerpunkt sollte auf dem ziemlich Schlechten liegen, es zu beheben und zu beseitigen. Demis hat offenbar meine Notizen quer durch den Raum gelesen. Aber die Beseitigung der Knappheit beseitigt im Grunde die Notwendigkeit, dass Menschen nach dem Nullsummenprinzip handeln, bei dem man nur über die Runden kommt, indem man es jemand anderem schwerer macht. Und ich denke, das ist die Quelle vieler der Gemeinheiten, die Jeffrey vorhin erwähnt hat. Das wäre also mein wichtigster Nutzen, und nicht mehr so viele E-Mails lesen zu müssen. Das wäre der zweite.
Und Sie, Elon, haben soweit ich weiß auch noch nie irgendwelche visionären Ideen über die Zukunft geäußert. Wie sieht es jetzt aus?
Ich habe einfach viel darüber nachgedacht. Ich denke, es läuft wirklich auf zwei Dinge hinaus: die Bandbreitenbeschränkung zwischen Maschine und Gehirn zu lösen und die Demokratisierung der KI. Ich denke, wenn wir diese zwei Dinge haben… Wird die Zukunft gut. Es gibt ein großartiges Zitat von Lord Acton: Freiheit besteht in der Verteilung der Macht und Despotismus in ihrer Konzentration. Und ich denke, solange KI-Macht so ist, dass jeder sie bekommen kann, der sie will, und wir etwas Schnelleres als Fleischstäbchen zum Kommunizieren haben, dann wird die Zukunft gut.
Fantastisch. Also legen wir los. Ich weiß, dass Ihr Koffeinspiegel gefährlich niedrig wird. Und danach haben wir noch ein weiteres Panel, das wirklich spannend werden wird. Nehmen wir also nur ein paar schnelle Fragen. Achten Sie darauf, dass es tatsächlich Fragen sind, nennen Sie Ihren Namen und wählen Sie eine Person auf dem Podium, an die Sie sich wenden. Okay. Yoshua Bengio, Montreal, und die Frage geht an Jaan.
Ich fand Ihre Präsentation sehr inspirierend, und eine Frage, die ich habe, betrifft das Erheben von Präferenzen und Werten bei den Menschen. Glauben Sie, dass diese Forschungsrichtung zu einer besseren Demokratie, einer besseren Gesellschaft, einer direkteren Demokratie führen könnte, und was halten Sie von dieser Richtung, um das Problem des Missbrauchs und dergleichen anzugehen?
Panelist
Ja, absolut. Ein Codename dafür könnte sogar so etwas wie Demokratie 2.0 oder UN 2.0 sein. Und wie ich in meiner Präsentation erwähnt habe: Viele Menschen wollen heute im Grunde die Welt verbessern, aber es ist ziemlich schwer, sie von Leuten zu unterscheiden, die nur sagen, dass sie die Welt verbessern wollen. Wenn es also tatsächlich eine sehr einfache Messgröße gäbe, die als Verkaufsargument, als Bezugspunkt dienen könnte, dann wäre das, glaube ich, enorm hilfreich. Die Demokratie wurde vor Hunderten von Jahren erfunden, und offensichtlich haben wir uns als Zivilisation weiterentwickelt und wissen besser, wie man Präferenzen bündelt.
Und Nicolas Berggruen dort drüben. Danke, Max. Nicolas Berggruen. Ich habe eine fast naive Frage. Das ist eine sehr wohlmeinende Gruppe, was, sagen wir, die Absichten angeht, aber
wer behält im Blick, wer sonst
potenziell an AGI arbeitet? Das könnte
weit über diese Gruppe hinausgehen.
Es könnte in China sein, es könnte überall sein. Und was passiert dann? Wir haben ja darüber gesprochen, wie mächtig AGI ist, und wenn Elon recht hat: Ist sie gerecht verteilt, gut, aber wenn nicht, gibt es eine Möglichkeit, das heute, in einem Jahr oder in 10 Jahren zu überwachen? Denn wenn sie einmal draußen ist, geht es schnell. Wer überwacht das?
Denn das hier ist eine selbstausgewählte Gruppe.
Aber darüber hinaus… Elon oder Demis, möchte einer von Ihnen sich daran versuchen?
Nun, ich denke, das hängt mit meinem vorherigen Punkt zusammen, KI im schwierigen Teil der S-Kurve zu entwickeln. Und dort befinden wir uns, glaube ich, im Moment ungefähr, soweit wir das beurteilen können, denn es ist nicht leicht, diese Art von Fortschritt zu erzielen. Man braucht also ziemlich viele ziemlich kluge Leute, und diese Gemeinschaft ist immer noch recht klein, auch wenn sie an Orten wie NIPS rasant wächst. Und die meisten kennen sich untereinander. Das hier ist also ziemlich repräsentativ für alle im Westen, zumindest. Natürlich ist es schwerer zu wissen, was in China oder vielleicht in Russland passiert, aber ich denke, man braucht einen ziemlich großen Ressourcenaufwand: Leute, sehr kluge Leute, viel Rechenleistung und so weiter. Ich denke also, das schränkt die Zahl der Gruppen ein, die das können. Und es bedeutet auch, dass sie sichtbarer sind. Ich denke also, im Westen wird sicherlich jemand in diesem Raum Kontakt zu jemandem aus den Gruppen haben, die in der Lage sind, bedeutende Fortschritte in Richtung AGI zu machen. Im Osten und weiter weg ist es schwerer zu wissen, aber wir sollten versuchen, Verbindungen zur Chinesischen Akademie der Wissenschaften und so weiter zu knüpfen, um mehr zu erfahren. Aber das kann sich in Zukunft ändern. Ich denke, das ist der aktuelle Stand.
Großartig. Die schlechte Nachricht ist, es wird spät, und wir haben nur noch Zeit für eine Frage. Die gute Nachricht ist, gleich danach gibt es eine Kaffeepause. Sie können alle Ihre Fragen stellen, wenn Sie das Podium belagern. Und die letzte Frage geht an Sie, Erik. Möchten Sie aufstehen?
Erik Brynjolfsson, MIT. Ich greife auf, was Elon am Ende über die Demokratisierung des Ergebnisses gesagt hat, und verknüpfe es mit dem gestrigen Panel, in dem Reid Hoffman darüber sprach, dass Menschen nicht nur das absolute, sondern auch das relative Einkommen sehr wichtig ist. Ich wollte die Reaktionen der Podiumsteilnehmer hören: Neigt KI zu Winner-takes-all-Effekten, gibt es eine Tendenz zur Konzentration, bei der der Führende seinen Vorsprung weiter ausbauen kann, oder gibt es Potenzial für einen breiteren demokratischen Zugang, und welche Mechanismen können wir einführen, wenn wir den breit geteilten Wohlstand wollen, den Elon angedeutet hat?
Elon, möchten Sie das übernehmen?
Nun, ich muss sagen: Wenn etwas eine Gefahr für die Öffentlichkeit ist, dann braucht es, ich sage es ungern, eine Regierungsbehörde, also Regulierer. Ich bin nicht der größte Fan von Regulierern, weil sie ein bisschen Spaßverderber sind. Aber Tatsache ist: Wir haben Regulierer in der Luftfahrtindustrie, in der Autoindustrie, ich habe ständig mit ihnen zu tun, bei Medikamenten, Lebensmitteln, bei allem, was eine Art öffentliches Risiko darstellt. Ich denke, das muss in die Kategorie öffentlicher Risiken fallen. Und deshalb denke ich, dass das das Richtige ist. Und ich glaube, es wird passieren. Die Frage ist, ob die Reaktionsgeschwindigkeit der Regierungen mit der Fortschrittsgeschwindigkeit der KI mithält. Regierungen reagieren langsam, bewegen sich langsam, und sie neigen dazu, reaktiv statt proaktiv zu sein. Aber man kann sich diese anderen Branchen ansehen und fragen: Will irgendjemand wirklich, dass die FAA verschwindet? Dass bei Flugzeugen einfach alles erlaubt ist? Wahrscheinlich nicht. Es gibt einen Grund, warum es sie gibt. Oder dass die Leute einfach jedes beliebige Medikament nehmen können, vielleicht wirkt es, vielleicht nicht. Das haben wir bei Nahrungsergänzungsmitteln. Das war schon ziemlich lächerlich. Aber ich denke, alles in allem ist die FDA gut. Ich denke also, wir brauchen wahrscheinlich eine Art Regulierungsbehörde. Und der Einwand dagegen lautet: Na ja, dann ziehen die Leute einfach nach verdammt noch mal Costa Rica oder so. Das stimmt nicht. Okay. Wir sehen ja auch nicht, dass Boeing nach Costa Rica oder Venezuela oder sonst wohin zieht. Wo alles locker und frei ist. Um Demis' Punkt aufzugreifen: Die KI wird mit überwältigender Wahrscheinlichkeit dort entwickelt, wo sich KI-Forschungstalente konzentrieren. Und das sind zufällig nur ein paar Orte auf der Welt. Silicon Valley, London, Boston, ein paar andere Orte, aber es sind wirklich nur ein paar Orte, auf die Regulierer vernünftigerweise Zugriff hätten. Und ich will klarstellen: Es ist nicht so, dass ich Regulierer liebe, okay, sie sind eine Nervensäge, aber manchmal sind sie notwendig, um das Gemeinwohl zu schützen.
Gut, in diesem Sinne danken wir dem Podium für eine faszinierende Diskussion.