Tesla AI Day 19. August 2021 Keynote zum Tesla AI Day, bei der Musk und Ingenieure den Dojo-Supercomputer und die FSD-Neuronennetze vorstellen und den Tesla Bot (Optimus) enthüllen.
Keynote zum Tesla AI Day, bei der Musk und Ingenieure den Dojo-Supercomputer und die FSD-Neuronennetze vorstellen und den Tesla Bot (Optimus) enthüllen.
Transkript Hallo zusammen. Entschuldigung, Entschuldigung für die Verspätung. Danke, dass ihr gekommen seid, und sorry, ich hatte ein paar technische Schwierigkeiten. Wirklich. KI dafür? Was wir, was wir heute zeigen wollen, ist, dass Tesla viel mehr ist als ein Elektroautohersteller, dass wir eine tiefgreifende KI-Aktivität in der Hardware haben, auf der Inferenzebene, auf der Trainingsebene, und im Grunde sind wir, denke ich, wohl die Marktführer bei KI in der realen Welt, so wie sie auf die reale Welt angewendet wird. Und diejenigen von euch, die die Full-Self-Driving-Beta gesehen haben, können nachvollziehen, mit welcher Geschwindigkeit das neuronale Netz von Tesla das Fahren lernt, und das ist eine besondere Anwendung von KI. Aber ich denke, es gibt noch mehr, es gibt weitere Anwendungen, die in Zukunft sinnvoll werden, und darüber sprechen wir später in der Präsentation. Aber ja, wir möchten im Grunde jeden ermutigen, der daran interessiert ist, reale KI-Probleme zu lösen, sei es auf Hardware- oder Softwareebene, zu Tesla zu kommen oder in Erwägung zu ziehen, zu Tesla zu kommen. Also, mal sehen, wir beginnen mit Andre. Ja,
Okay. Hallo zusammen. Ist mein Mikro an? Ich hoffe es.
Falls nicht, gebe ich dir meins.
Klingt nicht danach. Okay.
Super. Okay. Hallo zusammen. Willkommen. Ich heiße Andre und ich, ich leite hier bei Tesla Autopilot das Vision-Team, und ich freue mich riesig, diesen Abschnitt zu eröffnen und euch einen technischen Deep Dive in den Autopilot-Stack zu geben, mit allen Komponenten unter der Haube, die dafür sorgen, dass ein Auto ganz von selbst fährt. Wir beginnen also hier mit der Vision-Komponente. In der Vision-Komponente versuchen wir, ein neuronales Netz zu entwerfen, das die Rohinformationen verarbeitet, die in unserem Fall von den acht Kameras rund um das Fahrzeug stammen. Sie senden uns Bilder, und wir müssen diese in Echtzeit in das verarbeiten, was wir den Vektorraum nennen. Das ist eine dreidimensionale Darstellung von allem, was man zum Fahren braucht. Das sind also die dreidimensionalen Positionen von Linien, Kanten, Bordsteinen, Verkehrszeichen, Ampeln, Autos, ihre Positionen, Ausrichtungen, Tiefen, Geschwindigkeiten und so weiter. Hier zeige ich euch also ein Video von... Moment mal. Entschuldigung. Hier zeige ich euch also das Video der Rohdaten, die in den Stack gelangen, und anschließend verarbeitet das neuronale Netz diese zum Vektorraum. Und ihr seht Teile dieses Vektorraums, die im Kombiinstrument des Autos dargestellt werden. Was ich daran ziemlich faszinierend finde, ist, dass wir im Grunde von Grund auf ein synthetisches Tier bauen. Man kann sich das Auto also wie ein Tier vorstellen. Es bewegt sich, es nimmt die Umgebung wahr und handelt, nun ja, autonom und intelligent. Und wir entwickeln alle Komponenten von Grund auf, intern im Haus. Wir bauen also natürlich alle mechanischen Komponenten des Körpers, das Nervensystem, also alle elektrischen Komponenten, und für unsere Zwecke das Gehirn des Autopiloten, und speziell für diesen Abschnitt den synthetischen visuellen Kortex. Nun hat der biologische visuelle Kortex tatsächlich eine recht komplexe Struktur und mehrere Areale, die den Informationsfluss dieses Gehirns organisieren. Und insbesondere in unseren, in euren visuellen Kortizes trifft das Licht zunächst auf die Netzhaut, geht durch den Corpus geniculatum laterale (LGN), bis ganz hinten in den visuellen Kortex, durch die Areale V1, V2, V4, den IT-Kortex, den ventralen und den dorsalen Pfad. Und die Informationen sind nach einem bestimmten Schema organisiert. Wenn wir also den visuellen Kortex des Autos entwerfen, wollen wir auch die Architektur des neuronalen Netzes danach gestalten, wie die Informationen im System fließen. Die Verarbeitung beginnt also ganz am Anfang, wenn das Licht auf unsere künstliche Netzhaut trifft. Und wir werden diese Information mit neuronalen Netzen verarbeiten. Ich werde diesen Abschnitt grob chronologisch aufbauen, also zunächst mit einigen der neuronalen Netze beginnen und wie sie vor etwa vier Jahren aussahen, als ich zum Team kam, und wie sie sich seitdem weiterentwickelt haben. Vor etwa vier Jahren fuhr das Auto größtenteils geradeaus in einer einzigen Spur auf der Autobahn. Es musste also die Spur halten und einen Abstand zum vorausfahrenden Auto einhalten. Und zu dieser Zeit erfolgte die gesamte Verarbeitung nur auf der Ebene des einzelnen Bildes. Ein einzelnes Bild musste also von einem neuronalen Netz analysiert werden, um kleine Stücke des Vektorraums zu erzeugen, es in kleine Stücke des Vektorraums umzuwandeln. Diese Verarbeitung sah also folgendermaßen aus. Wir nehmen eine Eingabe von 1280 mal 960, bestehend aus 12-Bit-Ganzzahlen, die mit etwa 36 Hertz einströmen. Das verarbeiten wir nun mit einem neuronalen Netz. Wir instanziieren also ein Backbone, einen Feature-Extraktor. In diesem Fall verwenden wir residuale neuronale Netze. Wir haben also einen Stamm (Stem) und eine Reihe von residualen Blöcken, die in Serie geschaltet sind. Die spezielle Klasse von ResNets, die wir verwenden, sind RegNets, weil das eigentlich ein sehr... RegNets bieten einen sehr guten Entwurfsraum für neuronale Netze, weil sie einen sehr guten Kompromiss zwischen Latenz und Genauigkeit ermöglichen. Diese RegNets liefern uns als Ausgabe eine Reihe von Merkmalen in verschiedenen Auflösungen und auf verschiedenen Skalen. Ganz unten in dieser Merkmalshierarchie haben wir also Informationen mit sehr hoher Auflösung, aber mit sehr wenigen Kanälen. Und ganz oben haben wir eine geringe räumliche Auflösung, aber eine hohe Anzahl von Kanälen. Unten haben wir also viele Neuronen, die wirklich die Details des Bildes genau untersuchen. Und oben haben wir Neuronen, die den größten Teil des Bildes sehen und, im Gegensatz dazu, über viel von diesem Szenenkontext verfügen. Das verarbeiten wir dann gerne mit Feature-Pyramiden-Netzwerken (Feature Pyramid Networks). In unserem Fall verwenden wir gerne BiFPNs, die es mehreren Skalen ermöglichen, effektiv miteinander zu kommunizieren und viele Informationen auszutauschen. Wenn man also zum Beispiel ein Neuron ganz unten im Netz ist und einen kleinen Ausschnitt betrachtet und sich nicht sicher ist, ob es sich um ein Auto handelt oder nicht, hilft es wirklich, von den oberen Schichten zu wissen: Hey, du befindest dich eigentlich im Fluchtpunkt dieser Autobahn. Und das hilft dabei, zu erkennen, dass es sich wahrscheinlich um ein Auto handelt. Nach einem BiFPN und einer Fusion der Merkmale über die Skalen hinweg gehen wir dann zu den aufgabenspezifischen Köpfen (Heads) über. Zum Beispiel haben wir für die Objekterkennung hier einen einstufigen, YOLO-ähnlichen Objektdetektor, bei dem wir ein Raster initialisieren und es für jede Position ein binäres Bit gibt, das angibt, ob sich dort ein Auto befindet oder nicht. Und zusätzlich dazu gibt es, falls das der Fall ist, noch eine Reihe weiterer Attribute, die interessant sein könnten. Zum Beispiel die XY-Koordinaten mit Höhenversatz oder andere Attribute wie: Um welchen Autotyp handelt es sich? Und so weiter. So weit zur Erkennung an sich. Sehr schnell haben wir festgestellt, dass wir nicht nur Autos erkennen wollen, sondern eine große Anzahl von Aufgaben erfüllen möchten. Zum Beispiel wollen wir die Erkennung und Detektion von Ampeln, die Vorhersage von Fahrspuren und so weiter umsetzen. Sehr schnell sind wir also zu dieser Art von Architektur gelangt, mit einem gemeinsamen, geteilten Backbone, das sich dann in mehrere Köpfe (Heads) verzweigt. Wir nennen diese Netze deshalb HydraNets, und das sind die Köpfe der Hydra. Diese Architektur hat eine Reihe von Vorteilen. Erstens können wir durch das Teilen der Merkmale die Vorwärts-Inferenz im Auto zur Laufzeit amortisieren. Das macht die Ausführung sehr effizient, denn wenn wir für jede einzelne Aufgabe ein eigenes Backbone bräuchten, wären das enorm viele Backbones im Auto. Zweitens entkoppelt das alle Aufgaben, sodass wir an jeder einzelnen Aufgabe isoliert arbeiten können. Und zum Beispiel können wir, wir können jeden beliebigen Datensatz aktualisieren oder einen Teil der Architektur des Heads ändern, und so weiter. Und dabei beeinträchtigt man keine der anderen Aufgaben. Wir müssen also nicht alle anderen Aufgaben erneut validieren, was aufwendig sein kann. Und drittens, weil es hier diesen Flaschenhals bei den Merkmalen gibt, machen wir recht häufig Folgendes: Wir cachen diese Merkmale tatsächlich auf der Festplatte. Und wenn wir diese Feinabstimmungs-Workflows durchführen, feintunen wir nur ausgehend von den gecachten Merkmalen und tunen nur die Heads. Meistens läuft es bei unseren Trainings-Workflows so, dass wir gelegentlich einen End-to-End-Trainingslauf durchführen, bei dem alles gemeinsam trainiert wird, dann cachen wir die Merkmale auf der Multiskalen-Ebene, feintunen dann darauf aufbauend für eine Weile, trainieren danach wieder End-to-End und so weiter. Hier sind also die Arten von Vorhersagen, die wir, würde ich sagen, vor mehreren Jahren mit einem dieser HydraNets erhielten. Auch hier verarbeiten wir wieder einzelne Bilder.
Wir verarbeiten nur einzelne Bilder und treffen eine große Anzahl von Vorhersagen zu diesen Bildern. Zum Beispiel seht ihr hier Vorhersagen für Stoppschilder, Haltelinien, Linien, Kanten, Autos, Ampeln, Bordsteine, ob das Auto geparkt ist oder nicht, sowie alle statischen Objekte wie Mülltonnen, Pylonen und so weiter. Und alles hier kommt aus diesem Netz, in diesem Fall aus dem Hydra-Netz. Das war alles schön und gut, aber als wir an FSD arbeiteten, haben wir schnell festgestellt, dass das nicht ausreicht. Die ersten Risse zeigten sich, als wir mit der Arbeit an Smart Summon begannen. Hier zeige ich euch einige Vorhersagen nur für die Aufgabe der Bordstein-Erkennung, und zwar jetzt für jede einzelne Kamera. Wir wollen uns also durch den Parkplatz schlängeln, um die Person zu finden, die das Auto ruft. Das Problem ist, dass man nicht einfach direkt auf Basis von Vorhersagen im Bildraum fahren kann. Man muss sie tatsächlich projizieren und daraus eine Art Vektorraum um sich herum bilden. Wir haben also versucht, das in C umzusetzen, und zu der Zeit das entwickelt, was wir den Occupancy Tracker nannten. Hier sehen wir, dass die Bordstein-Erkennungen aus den Bildern über die verschiedenen Kameraszenen, Kameragrenzen und über die Zeit hinweg zusammengefügt werden. Nun gab es, würde ich sagen, zwei große Probleme mit diesem Aufbau. Erstens haben wir sehr schnell festgestellt, dass das Abstimmen des Occupancy Trackers und all seiner Hyperparameter extrem kompliziert war. Man möchte das nicht explizit von Hand in C machen. Man möchte, dass das innerhalb eines neuronalen Netzes stattfindet und dieses End-to-End trainieren. Zweitens haben wir sehr schnell festgestellt, dass der Bildraum nicht der richtige Ausgaberaum ist. Man möchte keine Vorhersagen im Bildraum treffen. Man möchte sie wirklich direkt im Vektorraum treffen. Hier ist also eine Möglichkeit, das Problem zu veranschaulichen. Hier zeige ich in der ersten Reihe die Vorhersagen unserer Kurven und Linien in Rot und Blau, und sie sehen im Bild großartig aus. Aber sobald man sie in den Vektorraum projiziert, sehen die Dinge wirklich furchtbar aus, und darauf werden wir nicht fahren können. Ihr seht also, wie schlecht die Vorhersagen im Vektorraum ausfallen. Und der grundlegende Grund dafür ist, dass man eine extrem genaue Tiefe pro Pixel benötigt, um diese Projektion tatsächlich durchführen zu können. Und ihr könnt euch also vorstellen, wie hoch die Hürde ist, diese Tiefe so präzise vorherzusagen, in jedem dieser winzigen, in jedem einzelnen Pixel des Bildes. Und außerdem, falls es einen verdeckten Bereich gibt, in dem man Vorhersagen treffen möchte, wird man dazu nicht in der Lage sein, da es sich in diesem Fall nicht um ein Konzept des Bildraums handelt. Also haben wir sehr schnell fest- Das andere Problem dabei betrifft übrigens auch die Objekterkennung: Wenn man Vorhersagen nur pro Kamera trifft, stößt man manchmal auf Fälle wie diesen, bei denen ein einziges Auto sich tatsächlich über fünf der acht Kameras erstreckt. Und wenn man also einzelne Vorhersagen trifft, sieht keine einzige Kamera das Auto vollständig. Und folglich wird man natürlich keine besonders gute Vorhersage für dieses ganze Auto treffen können. Und es wird unglaublich schwierig sein, diese Messungen zu fusionieren. Wir haben also die Intuition, dass wir statt dessen lieber alle Bilder gleichzeitig in ein einziges neuronales Netz einspeisen und direkt im Vektorraum ausgeben möchten. Das ist leicht gesagt, aber viel schwieriger tatsächlich umzusetzen. Aber grob gesagt wollen wir ein neuronales Netz so aufbauen, dass wir jedes einzelne Bild mit einem Backbone verarbeiten, dann wollen wir sie irgendwie fusionieren, und wir wollen die Merkmale neu darstellen, von Merkmalen im Bildraum direkt zu einer Art Merkmalen im Vektorraum, bevor es in die Decodierung des Heads geht. Nun gibt es bei diesem Problem zwei Schwierigkeiten. Erstens: Wie erzeugt man tatsächlich die Komponenten des neuronalen Netzes, die diese Transformation durchführen, und wie macht man sie differenzierbar, damit ein End-to-End-Training möglich ist? Und zweitens: Wenn man von seinem neuronalen Netz Vorhersagen im Vektorraum möchte, braucht man vektorbasierte Datensätze. Nur Bilder zu labeln und so weiter wird einen dabei nicht ans Ziel bringen. Man braucht Labels im Vektorraum. Über das zweite Problem werden wir später in diesem Vortrag noch viel mehr sprechen. Fürs Erste möchte ich mich auf die Architektur des neuronalen Netzes konzentrieren. Ich werde also tief in das erste Problem eintauchen. Hier ist also grob das Problem, oder? Wir versuchen, diese Vogelperspektiven-Vorhersage zu bekommen, anstatt Vorhersagen im Bildraum. Konzentrieren wir uns zum Beispiel auf diesen einzelnen Pixel im Ausgaberaum, dort in Gelb. Und dieser Pixel versucht zu entscheiden: Gehöre ich zu einem Bordstein oder nicht? Zum Beispiel. Und woher sollte nun die Stütze für eine solche Vorhersage im Bildraum kommen? Nun, wir wissen ungefähr, wie die Kameras positioniert sind, und kennen ihre extrinsischen und intrinsischen Parameter, sodass wir diesen Punkt grob in die Kamerabilder projizieren können. Und wisst ihr, der Hinweis darauf, ob es sich um einen Bordstein handelt oder nicht, könnte irgendwo hier in den Bildern stammen. Das Problem ist, dass es wirklich schwierig ist, diese Projektion tatsächlich korrekt zu bekommen, da sie von der Straßenoberfläche abhängt. Die Straßenoberfläche könnte bergauf oder bergab geneigt sein. Oder es könnte auch andere datenabhängige Probleme geben. Zum Beispiel könnte es zu einer Verdeckung durch ein Auto kommen. Wenn also ein Auto diesen Ausschnitt, diesen Teil des Bildes verdeckt, möchte man eigentlich vielleicht einem anderen Teil des Bildes Aufmerksamkeit schenken, nicht dem Teil, auf den die Projektion fällt. Und weil das datenabhängig ist, ist es wirklich schwierig, für diese Komponente eine feste Transformation zu haben. Um dieses Problem zu lösen, verwenden wir also einen Transformer, um diesen Raum darzustellen. Und dieser Transformer verwendet Multi-Head-Self-Attention und Blöcke davon. In diesem Fall können wir tatsächlich schon mit einem einzigen Block einen Großteil dieser Arbeit erledigen. Und was das im Grunde macht: Man initialisiert ein Raster in der gewünschten Größe des Ausgaberaums und füllt es mit Positionskodierungen aus Sinus- und Kosinusfunktionen im Ausgaberaum. Und anschließend werden diese von einem MLP zu einer Menge von Query-Vektoren kodiert. Dann senden auch alle Bilder und ihre Merkmale ihre eigenen Keys und Values. Dann fließen die Queries, Keys und Values in die Multi-Head-Self-Attention. Was also im Grunde passiert, ist, dass jedes einzelne Bildstück in seinem Key ausstrahlt: Zu was gehört es? Also, quasi: „Hey, ich bin Teil einer Säule, die sich etwa an diesem Ort befindet, und ich sehe diese Art von Dingen“, und das steht im Key. Und jede Query ist dann etwa so: „Hey, ich bin ein Pixel im Output-Raum an dieser Position und ich suche nach Merkmalen dieser Art.“ Dann interagieren die Keys und die Queries multiplikativ, und anschließend werden die Values entsprechend zusammengefasst (gepoolt). Und das stellt den Raum also neu dar. Und wir haben festgestellt, dass das für diese Transformation sehr effektiv ist. Wenn man also die ganze Engineering-Arbeit richtig macht... auch das ist, wie gesagt, leicht gesagt, schwer getan. Man macht die ganze Engineering-Arbeit richtig. Es gibt noch eins, es gibt tatsächlich noch ein Problem davor... ich bin mir nicht sicher, warum es mit den Folien Probleme macht. Also, noch eine Sache: Man muss hier bei einigen Details vorsichtig sein, wenn man versucht, das zum Funktionieren zu bringen. Insbesondere sind alle unsere Autos leicht schief ausgerichtet, jedes auf eine etwas andere Art. Wenn man also diese Transformation vom Bildraum in den Output-Raum vornimmt, muss man wirklich wissen, wie die Kamerakalibrierung aussieht, und man muss das irgendwie in das neuronale Netz einspeisen. Und man könnte definitiv einfach die Kamerakalibrierungen aller Bilder zusammenfügen (konkatenieren) und sie irgendwie über ein MLP einspeisen. Aber tatsächlich haben wir festgestellt, dass wir es viel besser machen können, indem wir alle Bilder mithilfe einer speziellen Rektifizierungs-Transformation in eine synthetische virtuelle Kamera umwandeln. So würde das also aussehen. Wir fügen eine neue Schicht direkt über der Bildrektifizierungs-Schicht ein. Sie ist eine Funktion der Kamerakalibrierung und überträgt alle Bilder in eine gemeinsame virtuelle Kamera. Wenn man also zum Beispiel viele Bilder der Repeater-Kamera, die nach hinten gerichtet ist, mittelt, würde man ohne diese Transformation eine Art Unschärfe bekommen. Aber nach der Rektifizierungs-Transformation sieht man, dass der Rückspiegel richtig scharf wird. Sobald man das macht, verbessert das die Leistung ziemlich deutlich. Hier sind also einige der Ergebnisse. Links sehen wir also, was wir vorher hatten, und rechts sehen wir jetzt deutlich verbesserte Vorhersagen, die direkt aus dem neuronalen Netz kommen. Das ist ein Multi-Kamera-Netzwerk, das direkt im Vektorraum vorhersagt. Und man sieht, dass das wirklich wie Tag und Nacht ist. Man kann damit tatsächlich fahren. Und das hat Zeit, Engineering und unglaubliche Arbeit vom KI-Team gebraucht, um das tatsächlich zum Funktionieren zu bringen, es einzusetzen und es im Auto effizient zu machen. Das hat auch unsere Objekterkennung stark verbessert. Zum Beispiel zeige ich hier in diesem Video Vorhersagen einer einzelnen Kamera in Orange und Multi-Kamera-Vorhersagen in Blau. Und im Grunde, wenn man diese Autos nicht vorhersagen kann, wenn man nur einen winzigen Ausschnitt eines Autos sieht. Dann werden Ihre Erkennungen nicht sehr gut sein, und ihre Positionen werden auch nicht gut sein. Aber ein Multi-Kamera-Netzwerk hat damit kein Problem. Hier ist ein weiteres Video aus einer eher typischen Situation. Und wir sehen, dass, wenn diese Autos in diesem engen Raum die Kameragrenzen überschreiten, viele Ruckler (Unregelmäßigkeiten) in die Vorhersagen geraten. Und im Grunde macht das ganze Setup einfach keinen Sinn, besonders bei sehr großen Fahrzeugen wie diesem. Und wir sehen, dass das Multi-Kamera-Netzwerk mit dieser Art von Vorhersagen deutlich weniger Probleme hat. Okay, an diesem Punkt haben wir also Multi-Kamera-Netzwerke, die Vorhersagen direkt im Vektorraum liefern, aber wir arbeiten immer noch zu jedem einzelnen Zeitpunkt völlig unabhängig. Sehr schnell haben wir festgestellt, dass es eine große Zahl von Vorhersagen gibt, die wir machen möchten und die tatsächlich den Videokontext benötigen. Und wir müssen irgendwie herausfinden, wie wir das in das Netz einspeisen. Insbesondere: Ist dieses Auto geparkt oder nicht? Bewegt es sich? Wie schnell bewegt es sich? Ist es noch da, obwohl es vorübergehend verdeckt ist? Oder zum Beispiel, wenn ich versuche, die Straßengeometrie vor uns vorherzusagen, ist es sehr hilfreich zu wissen, ob die Schilder oder Fahrbahnmarkierungen, die ich vor 15 Sekunden gesehen habe... Wir haben also versucht, zu entwickeln... wir haben versucht, Video-Module in unsere neuronale Netzwerkarchitektur einzufügen. Und das ist sozusagen eine der Lösungen, zu der wir gekommen sind. Wir haben also die Multiscale-Features, so wie wir sie vorher hatten. Und was wir jetzt einfügen werden, ist ein Feature-Queue-Modul, das einige dieser Merkmale im Zeitverlauf zwischenspeichert, und dann ein Video-Modul, das diese Informationen zeitlich fusioniert, und danach geht es weiter zu den Heads, die das Decoding übernehmen. Jetzt werde ich beide Blöcke einzeln durchgehen. Außerdem fällt hier auf, dass wir auch die Kinematik einspeisen. Das sind im Grunde die Geschwindigkeit und die Beschleunigung, die uns sagen, wie sich das Auto bewegt. Wir behalten also nicht nur im Blick, was wir mit allen Kameras sehen, sondern auch, wie sich das Auto bewegt hat. Hier ist also die Feature-Queue und ihr grober Aufbau. Wir konkatenieren im Grunde diese Merkmale über die Zeit sowie die Kinematik der Fahrzeugbewegung und die Positionskodierungen, und das wird zusammengefügt, kodiert und in einer Feature-Queue gespeichert, die dann von einem Video-Modul verarbeitet wird. Auch hier gibt es wieder ein paar Details, die man richtig hinbekommen muss. Insbesondere was die Pop- und Push-Mechanismen betrifft: Wann pusht man, wie, und vor allem, wann pusht man? Im Grunde. Hier ist also ein vereinfachtes Diagramm, das einige der Herausforderungen hier veranschaulicht. Da kommt unser Fahrzeug (das „Ego-Fahrzeug“) von unten und nähert sich dieser Kreuzung hier. Und dann wird Verkehr anfangen, vor uns zu queren, und das wird vorübergehend einige der Autos vor uns verdecken. Und dann bleiben wir eine Weile an dieser Kreuzung stehen und warten einfach, bis wir an der Reihe sind. Das passiert ständig, und das ist eine schematische Darstellung einiger der Herausforderungen hier. Erstens, was die Feature-Queue betrifft und wann man in eine Queue pusht: Natürlich möchte man eine Art zeitbasierte Queue haben, bei der wir zum Beispiel alle 27 Millisekunden Merkmale in die Queue einfügen. Wenn also ein Auto vorübergehend verdeckt wird, hat das neuronale Netz jetzt die Möglichkeit, im Gedächtnis zeitlich zurückzuschauen und zu referenzieren, und die Verknüpfung zu lernen: „Hey, auch wenn das gerade verdeckt aussieht, gibt es dafür einen Eintrag in meinen vorherigen Merkmalen, und ich kann das nutzen, um trotzdem eine Erkennung zu machen.“ Das ist also sozusagen der naheliegendere Fall. Aber es gibt noch einen anderen, den wir ebenfalls als notwendig entdeckt haben in unserem Fall. Zum Beispiel, nehmen wir an, man versucht, Vorhersagen über die Straßenoberfläche und die Straßengeometrie vor uns zu machen, und man versucht vorherzusagen, dass ich mich in einer Abbiegespur befinde und die Spur daneben geradeaus weitergeht. Dann ist es wirklich notwendig, die Fahrbahnmarkierungen und die Schilder zu kennen, und manchmal sind diese schon lange her. Und wenn man nur eine zeitbasierte Queue hat, kann man die Merkmale vergessen, während man an der roten Ampel wartet. Zusätzlich zu einer zeitbasierten Queue haben wir also auch eine raumbasierte Queue. Wir pushen also jedes Mal, wenn das Auto eine bestimmte feste Distanz zurückgelegt hat. Manche dieser Details können also tatsächlich ziemlich wichtig sein. Und in diesem Fall haben wir also eine zeitbasierte Queue und eine raumbasierte Queue, um unsere Merkmale zwischenzuspeichern. Und das geht dann weiter in das Video-Modul. Für das Video-Modul haben wir mehrere Möglichkeiten untersucht, wie man diese Informationen zeitlich fusionieren kann. Wir haben uns also dreidimensionale Convolutions, Transformer, axiale Transformer angeschaut, in dem Versuch, sie effizienter zu machen. Rekurrente neuronale Netze in einer Vielzahl von Varianten. Aber das, was uns tatsächlich auch sehr gut gefällt und auf das ich etwas näher eingehen möchte, ist ein räumliches rekurrentes neuronales Netz als Video-Modul. Was wir hier also machen: Aufgrund der Struktur des Problems fahren wir auf zweidimensionalen Oberflächen. Wir können den Hidden State tatsächlich in einem zweidimensionalen Gitter organisieren. Und während das Auto umherfährt, aktualisieren wir nur die Teile, die sich in der Nähe des Autos befinden und wo das Auto Sicht hat. Während das Auto also umherfährt, nutzen wir die Kinematik, um die Position des Autos in das Hidden-Feature-Grid zu integrieren. Und wir aktualisieren das RNN nur an den Punkten, die sich sozusagen in unserer Nähe befinden. Hier ist also ein Beispiel dafür, wie das aussieht. Ich werde Ihnen zeigen, wie das Auto umherfährt, und wir betrachten den Hidden State dieses RNN. Und das hier sind verschiedene Kanäle im Hidden State. Man sieht, dass nach der Optimierung und dem Training dieses neuronalen Netzes einige der Kanäle verschiedene Aspekte der Straße erfassen, wie zum Beispiel die Straßenmitten, die Ränder, die Linien, die Straßenoberfläche und so weiter. Hier ist noch ein cooles Video dazu. Hier betrachten wir den Mittelwert der ersten 10 Kanäle im Hidden State für verschiedene Durchfahrten an verschiedenen Kreuzungen. Und alles, was ich Ihnen im Grunde zeigen möchte, ist, dass es spannende Aktivität gibt, während das rekurrente neuronale Netz verfolgt, was zu jedem Zeitpunkt passiert. Und man kann sich vorstellen, dass wir dem neuronalen Netz jetzt die Fähigkeit gegeben haben, selektiv aus diesem Speicher zu lesen und in ihn zu schreiben. Wenn zum Beispiel ein Auto direkt neben uns ist und einige Teile der Straße verdeckt, hat das Netzwerk jetzt die Möglichkeit, an diesen Stellen nicht zu schreiben. Aber wenn das Auto wegfährt und wir eine wirklich gute Sicht haben, kann das rekurrente neuronale Netz sagen: „Okay, wir haben eine sehr klare Sicht.“ Wir wollen auf jeden Fall Informationen darüber schreiben, was sich in diesem Teil des Raums befindet. Hier sind ein paar Vorhersagen, die zeigen, wie das aussieht. Hier machen wir Vorhersagen über die Straßengrenzen in Rot, die Kreuzungsbereiche in Blau, die Straßenmitten und so weiter. Wir zeigen hier also nur einen Teil der Vorhersagen, um die Visualisierung übersichtlich zu halten. Und ja, das wird vom räumlichen RNN gemacht. Und das zeigt nur einen einzigen Clip, eine einzige Durchfahrt. Aber man kann sich vorstellen, dass es hier mehrere Durchfahrten geben könnte, und im Grunde könnten mehrere Autos und mehrere Clips zusammenarbeiten, um diese Karte zu erstellen – im Grunde und effektiv eine HD-Karte. Nur dass es nicht in einem Raum expliziter Elemente liegt, sondern in einem Merkmalsraum eines rekurrenten neuronalen Netzes, was irgendwie cool ist. Das habe ich vorher noch nicht gesehen. Die Video-Netzwerke haben außerdem unsere Objekterkennung ziemlich deutlich verbessert. In diesem Beispiel möchte ich Ihnen einen Fall zeigen, in dem dort zwei Autos stehen und ein Auto vorbeifährt und sie kurz verdeckt. Schauen Sie sich also an, was mit den Single-Frame- und den Video-Vorhersagen passiert, während die Autos vor uns vorbeifahren. Ja, das macht also sehr viel Sinn. Hier also ein kurzer Durchgang durch das, was passiert. Wenn beide sichtbar sind, sind die Vorhersagen in etwa gleich, und man sieht mehrere orange Kästen, weil sie von den verschiedenen Kameras kommen. Wenn sie verdeckt sind, verlieren die Single-Frame-Netzwerke die Erkennung, aber das Video-Modul erinnert sich daran, sodass wir die Autos weiter bestehen lassen können; und wenn sie dann nur teilweise verdeckt sind, ist das Single-Frame-Netzwerk gezwungen, seine beste Vermutung darüber abzugeben, was es sieht, es muss eine Vorhersage treffen, und es macht eine wirklich schlechte Vorhersage. Aber das Video-Modul weiß, dass es nur eine partielle Sicht gibt; es verfügt bereits über die Information und weiß, dass dieser Teil im Moment nicht sehr gut sichtbar ist, und berücksichtigt das entsprechend nicht übermäßig. Wir haben auch deutliche Verbesserungen bei unserer Fähigkeit festgestellt, die Tiefe und natürlich vor allem die Geschwindigkeit zu schätzen. Hier zeige ich also einen Clip aus unserem „Remove the Radar“-Projekt, bei dem wir die Radartiefe und -geschwindigkeit in Grün sehen, und wir haben versucht, dieses Signal allein mit Video-Netzwerken zu erreichen oder sogar zu übertreffen. Und was Sie hier sehen: in Orange die Single-Frame-Performance und in Blau wieder die Video-Module. Und man sieht, dass die Qualität der Tiefe viel höher ist, und was die Geschwindigkeit betrifft, das orange Signal... natürlich kann man aus einem Single-Frame-Netzwerk keine Geschwindigkeit gewinnen. Also verwenden wir... wir differenzieren einfach die Tiefe, um das zu bekommen. Aber das Video-Modul liegt tatsächlich praktisch direkt auf dem Radarsignal. Und wir haben festgestellt, dass das für uns außerordentlich gut funktioniert hat. Hier wird also alles zusammengefügt. So sieht unsere Architektur heute ungefähr aus. Unten gehen also die Rohbilder hinein. Sie durchlaufen eine Rektifizierungs-Schicht, um die Kamerakalibrierung zu korrigieren und alles in eine gemeinsame virtuelle Kamera zu überführen. Wir lassen sie durch RegNets, residuale Netzwerke, laufen, um sie in eine Reihe von Merkmalen auf verschiedenen Skalen zu verarbeiten. Wir fusionieren die Multiscale-Informationen mit einem BiFPN. Das geht dann durch ein Transformer-Modul, um es im Vektorraum, also im Output-Raum, neu darzustellen. Das fließt dann in eine Feature-Queue, zeit- oder raumbasiert, die von einem Video-Modul wie dem räumlichen RNN verarbeitet wird, und geht dann weiter in die Verzweigungsstruktur des HydraNet mit Trunks und Heads für alle verschiedenen Aufgaben. Und das ist also die Architektur, ungefähr so, wie sie heute aussieht. Und rechts sehen Sie einige seiner Vorhersagen, sozusagen visualisiert sowohl in einem Vektorraum aus der Vogelperspektive als auch in Bildern. Diese Architektur hat sich also definitiv deutlich komplexer entwickelt, ausgehend von einem sehr einfachen, bildbasierten einzelnen Netzwerk vor etwa drei oder vier Jahren, und sie entwickelt sich weiter – das ist wirklich ziemlich beeindruckend. Es gibt immer noch Verbesserungsmöglichkeiten, an denen das Team aktiv arbeitet. Zum Beispiel wird Ihnen auffallen, dass unsere Fusion von Zeit und Raum, in Begriffen des neuronalen Netzes, ziemlich spät erfolgt. Vielleicht könnten wir also tatsächlich eine frühere Fusion von Raum oder Zeit vornehmen und zum Beispiel Cost Volumes oder Optical-Flow-artige Netzwerke weiter unten einsetzen. Oder zum Beispiel sind unsere Ausgaben dichte Raster, und es ist tatsächlich recht aufwändig, einige dieser dichten Raster im Auto nachzuverarbeiten. Und natürlich unterliegen wir sehr strengen Latenzanforderungen, daher ist das nicht ideal. Wir untersuchen tatsächlich alle möglichen Wege, nur die spärliche (sparse) Struktur der Straße vorherzusagen, vielleicht, wissen Sie, Punkt für Punkt oder auf eine andere Weise, die keine aufwändige Nachverarbeitung erfordert. Aber im Grunde erreicht man so einen sehr schönen Vektorraum. Und jetzt, glaube ich, wird Ashok darüber sprechen, wie wir darauf aufbauend Planung und Steuerung (Control) umsetzen können.
Danke, Andrej. Hallo zusammen, ich heiße Ashok. Ich leite die Teams für Planung und Steuerung, Auto-Labeling und Simulation. Wie Andrej erwähnt hat, nehmen die Vision-Netzwerke dichte Videodaten und komprimieren sie dann in einen 3D-Vektorraum. Die Aufgabe des Planers (Planner) besteht nun darin, diesen Vektorraum zu nutzen und das Auto zum Zielort zu bringen, während Sicherheit, Komfort und Effizienz des Autos maximiert werden. Schon 2019 war unser Planer ein recht fähiger Fahrer. Er konnte in der Spur bleiben, bei Bedarf die Spur wechseln und Autobahnausfahrten nehmen. Aber das Fahren in der Stadt ist viel komplizierter. Es gibt selten strukturierte Fahrbahnmarkierungen. Fahrzeuge fahren viel freier (unstrukturierter), und darauf muss das Auto reagieren. Allerlei Fahrzeuge und Fußgänger, die die Straße überqueren und unerwartete Dinge tun. Was ist das Hauptproblem bei der Planung? Erstens ist der Aktionsraum sehr nicht-konvex, und zweitens ist er hochdimensional. Mit nicht-konvex meine ich, dass es mehrere mögliche Lösungen geben kann, die jeweils unabhängig voneinander gut sein können. Aber eine global konsistente Lösung zu finden, ist ziemlich knifflig. Es kann also Bereiche lokaler Minima geben, in denen der Planer stecken bleiben kann. Und zweitens entsteht die hohe Dimensionalität dadurch, dass das Auto für die nächsten 10 bis 15 Sekunden planen muss. Es muss die Positionen, Geschwindigkeiten und Beschleunigungen über dieses gesamte Zeitfenster erzeugen. Das sind sehr viele Parameter, die zur Laufzeit erzeugt werden müssen. Diskrete Suchmethoden sind wirklich hervorragend für die Lösung nicht-konvexer Probleme, denn weil sie diskret sind, bleiben sie nicht in lokalen Minima stecken. Während die kontinuierliche Funktionsoptimierung leicht in lokalen Minima stecken bleiben und schlechte, nicht besonders gute Lösungen liefern kann. Andererseits ist die diskrete Suche bei hochdimensionalen Problemen schlecht, weil sie, da sie diskret ist, keine Gradienteninformationen nutzt. Sie muss also buchstäblich jeden Punkt einzeln erkunden, um zu wissen, wie gut er ist. Während die kontinuierliche Optimierung gradientenbasierte Methoden verwendet. So gelangt sie sehr schnell zu einer guten Lösung. Unsere Lösung für dieses gesamte Problem besteht darin, es hierarchisch zu zerlegen. Zunächst verwenden wir eine diskrete Suchmethode, um die Nicht-Konvexität zu reduzieren und einen konvexen Korridor zu erhalten. Und dann verwenden wir kontinuierliche Optimierungstechniken, um die endgültige, glatte Trajektorie zu erstellen. Sehen wir uns ein Beispiel an, wie die Suche funktioniert. Hier versuchen wir also, einen Fahrstreifenwechsel durchzuführen. In diesem Fall muss das Auto zwei Fahrstreifenwechsel direkt hintereinander durchführen, um die Linksabbiegung voraus zu schaffen. Dafür durchsucht das Auto verschiedene Fahrmanöver. Das erste Manöver, das es prüft, ist ein Fahrstreifenwechsel in unmittelbarer Nähe. Aber das Auto bremst dabei recht hart, was ziemlich unangenehm ist. Das nächste Manöver, das es ausprobiert, ist der Fahrstreifenwechsel. Etwas spät, also beschleunigt es, fährt hinter das andere Auto, dann vor die anderen Autos und schließt den Fahrstreifenwechsel ab. Aber jetzt läuft es Gefahr, die Linksabbiegung zu verpassen. Wir führen Tausende solcher Suchen in sehr kurzer Zeit durch. Da es sich dabei um physikbasierte Modelle handelt, lassen sich diese Merkmale sehr leicht simulieren. Am Ende erhalten wir eine Reihe von Kandidaten und wählen schließlich einen davon auf Grundlage von Optimalitätskriterien, Sicherheit, Komfort und der einfachen Durchführbarkeit der Abbiegung aus. Das Auto hat sich also für diesen Pfad entschieden, und man sieht, dass die ausgeführte Trajektorie fast genau dem entspricht, was geplant war. Die cyanfarbene Kurve hier rechts zeigt die tatsächliche Geschwindigkeit des Autos, und die weiße Linie darunter, das war der Plan. Wir sind also in der Lage, hier für 10 Sekunden zu planen, und können das, wie man im Rückblick sieht, auch einhalten. Das ist also ein gut gemachter Plan. Wenn man neben anderen Verkehrsteilnehmern fährt, ist es wichtig, nicht nur für sich selbst zu planen, sondern gemeinsam für alle zu planen und den gesamten Verkehrsfluss der Szene zu optimieren. Um das zu erreichen, lassen wir den Autopilot-Planer buchstäblich für jedes relevante Objekt in der Szene laufen. Hier ist ein Beispiel, das zeigt, warum das notwendig ist. Das hier ist ein enger Korridor. Ich lasse Sie das Video kurz ansehen. Ja, das war Autopilot, der in einem anderen Korridor fuhr und parkende Autos, Pylonen und Pfosten umfuhr. Hier sehen wir eine 3D-Ansicht desselben Vorgangs. Das entgegenkommende Auto nähert sich nun, und Autopilot bremst etwas ab, erkennt dann aber, dass wir ihm nicht ausweichen können, weil auf unserer Seite kein Platz ist, während das andere Auto uns stattdessen ausweichen kann. Anstatt hier also einfach blind zu bremsen, schließt unsere gesamte Logik, dass dieses Auto eine ausreichend niedrige Geschwindigkeit hat, um anhalten zu können, und uns deshalb den Vorrang geben sollte, da wir ihm nicht ausweichen können – und das Auto fährt entschlossen weiter; ein zweites entgegenkommendes Fahrzeug trifft ein. Dieses Fahrzeug hat nun eine höhere Geschwindigkeit, und wie ich bereits sagte, lassen wir den Autopilot-Planer buchstäblich für das andere Objekt laufen. In diesem Fall lassen wir also den Planer für sie laufen. Der Plan dieses Objekts sieht vor, die auf ihrer Seite parkenden Autos zu umfahren und dann, nachdem sie an ihnen vorbei sind, wieder auf die rechte Straßenseite zurückzukehren. Da wir nicht wissen, was im Kopf des Fahrers vorgeht, betrachten wir für dieses Auto tatsächlich mehrere mögliche Zukünfte. Eine mögliche Zukunft wird in Rot dargestellt, die andere in Grün. Der grüne Plan ist einer, bei dem uns Vorrang gewährt wird. Da jedoch die Geschwindigkeit und Beschleunigung dieses Objekts recht hoch sind, gehen wir nicht davon aus, dass diese Person uns den Vorrang gewährt – sie wird vielmehr diese parkenden Autos umfahren. Autopilot entscheidet also: Okay, ich habe hier Platz, diese Person wird definitiv kommen, also fahre ich an den Rand. Während Autopilot an den Rand fährt, stellen wir anhand der Gierrate und der Beschleunigung fest, dass sich das andere Auto doch entschieden hat, uns Vorrang zu gewähren. Und Autopilot ändert sofort seine Entscheidung und setzt die Fahrt fort. Deshalb müssen wir für alle planen, denn sonst wüssten wir nicht, dass diese Person die anderen parkenden Autos umfahren und dann wieder auf ihre Seite zurückkehren wird. Würde Autopilot das nicht tun, wäre es zu zögerlich und somit kein praxistaugliches selbstfahrendes Auto. Wir haben also gesehen, wie die Suche und Planung für die anderen Verkehrsteilnehmer ein konvexes Tal entstehen lässt. Schließlich führen wir eine kontinuierliche Optimierung durch, um die endgültige Trajektorie zu erzeugen, die der Planer nehmen soll. Hier stellt der graue Bereich den konvexen Korridor dar. Und wir initialisieren den Spline für Richtung und Beschleunigung, parametrisiert über die Bogenlänge des Plans. Und man sieht, dass die Optimierung fortlaufend feine Anpassungen vornimmt, um alle ihre Kosten zu reduzieren. Zu diesen Kosten zählen zum Beispiel der Abstand zu Hindernissen, die Durchfahrtszeit und der Komfort. Für den Komfort sieht man, dass die Kurven der Querbeschleunigung rechts schöne trapezförmige Verläufe haben. Das kommt gleich. Ja. Hier rechts, die grüne Kurve, das ist eine schöne trapezförmige Form. Und wenn man die Trajektorie eines Menschen aufzeichnet, sieht sie ziemlich genau so aus. Auch der seitliche Ruck wird minimiert. Zusammenfassend führen wir also eine Suche sowohl für uns selbst als auch für alle anderen in der Szene durch. Wir richten einen konvexen Korridor ein und optimieren dann für einen glatten Pfad. Zusammen ermöglichen diese Elemente wirklich bemerkenswerte Dinge, wie oben gezeigt. Aber das Fahren sieht an anderen Orten etwas anders aus, zum Beispiel dort, wo ich aufgewachsen bin. Es ist viel unstrukturierter. Autos und Fußgänger schneiden sich den Weg ab, es wird hart gebremst, gehupt. Es ist eine verrückte Welt. Wir können versuchen, diese Methoden zu skalieren, aber es wird wirklich schwierig sein, das zur Laufzeit effizient zu lösen. Stattdessen wollen wir lernbasierte Methoden einsetzen, um sie effizient zu lösen. Und ich möchte zeigen, warum das zutrifft. Wir gehen also von diesem komplizierten Problem zu einem viel einfacheren Spielzeug-Parkproblem über, das aber trotzdem den Kern der Sache verdeutlicht. Das hier ist ein Parkplatz. Das Ego-Fahrzeug ist blau dargestellt und muss hier auf dem grünen Parkplatz einparken. Es muss also die Bordsteine, die parkenden Autos und die hier orange dargestellten Pylonen umfahren. Das hier ist eine einfache Baseline. Es handelt sich um einen Standardalgorithmus, der eine gitterbasierte Suche verwendet. Und die Heuristik hier ist eine Distanz, die euklidische Distanz zum Ziel. Man sieht, dass sie direkt auf das Ziel zusteuert, aber sehr schnell in einem lokalen Minimum gefangen ist, von dort zurückweicht und dann einen anderen Pfad sucht, um dieses parkende Auto zu umfahren. Letztlich macht sie Fortschritte und erreicht das Ziel, benötigt dafür aber am Ende 400.000 Knoten. Das ist offensichtlich eine furchtbare Heuristik. Wir wollen besser sein als das. Wenn man dem also eine Navigationsroute hinzufügt und das Auto bittet, dieser Route zu folgen, während es sich dem Ziel annähert, passiert Folgendes. Die Navigationsroute hilft sofort, aber wenn das Fahrzeug auf Pylonen oder andere Hindernisse trifft, macht es im Grunde dasselbe wie zuvor: Es weicht zurück und sucht dann einen neuen Pfad. Und diese arme Suche hat keine Ahnung, dass diese Hindernisse überhaupt existieren. Sie muss buchstäblich dorthin fahren, prüfen, ob es zu einer Kollision kommt, und falls ja, zurückweichen. Die Navigationsheuristik half, aber es wurden trotzdem 22.000 Knoten benötigt. Wir können immer mehr solcher Heuristiken entwerfen, damit die Suche immer schneller wird. Aber es ist wirklich mühsam und schwierig, eine global optimale Heuristik zu entwerfen. Selbst wenn man eine Distanzfunktion zu den Pylonen hätte, um die Suche zu steuern, wäre diese nur für den einzelnen Pylon wirksam. Was wir aber brauchen, ist eine globale Wertfunktion. Stattdessen wollen wir neuronale Netze verwenden, um uns diese Heuristik zu liefern. Die Vision-Netzwerke erzeugen den Vektorraum, in dem sich Autos bewegen. Das sieht im Grunde wie ein Atari-Spiel aus, nur in einer Multiplayer-Version. Wir können also Techniken wie MuZero, AlphaZero usw. verwenden, die zur Lösung von Go und anderen Atari-Spielen eingesetzt wurden, um dasselbe Problem zu lösen. Wir arbeiten also an neuronalen Netzen, die Zustands- und Aktionsverteilungen erzeugen können, die sich dann mit verschiedenen Kostenfunktionen in eine Monte-Carlo-Baumsuche einbinden lassen. Einige dieser Kostenfunktionen können explizite Kostenfunktionen sein, wie hier zum Beispiel Kollisionen, Komfort, Durchfahrtszeit usw. Und so weiter. Aber sie können auch aus Eingriffen stammen, die bei tatsächlichen manuellen Fahrereignissen aufgetreten sind. Wir trainieren ein solches Netzwerk für dieses einfache Parkproblem. Hier also wieder dasselbe Problem. Sehen wir uns an, wie die MCTS-Baumsuche sich schlägt. Hier sieht man, dass der Planer im Grunde auf einen Schlag Fortschritte in Richtung Ziel machen kann. Beachten Sie, dass hierfür nicht einmal eine Navigationsheuristik verwendet wird. Allein anhand der Szene kann der Plan direkt auf das Ziel zusteuern. Alle anderen Verzweigungen, die Sie sehen, sind mögliche Optionen. Er wählt keine davon, sondern nur die Option, die ihn direkt zum Ziel führt. Der Grund dafür ist, dass das neuronale Netz den globalen Kontext der Szene erfassen und daraus eine Wertfunktion erzeugen kann, die es effektiv zu einem globalen Minimum führt, anstatt in einem lokalen Minimum stecken zu bleiben. Dafür werden also nur 288 Knoten benötigt, mehrere Größenordnungen weniger als bei dem A*-Algorithmus mit der euklidischen Distanzheuristik. So wird also die endgültige Architektur aussehen. Das Vision-System wird die dichten Videodaten in einen Vektorraum komprimieren. Er wird sowohl von einem expliziten Planer als auch von einem auf neuronalen Netzen basierenden Planer genutzt. Darüber hinaus kann der neuronale Planer auch Zwischenmerkmale des Netzwerks nutzen. Zusammen erzeugt dies eine Trajektorienverteilung, die end-to-end optimiert werden kann – sowohl mit expliziten Kostenfunktionen als auch mit menschlichen Eingriffen und anderen Imitationsdaten. Das Ganze fließt dann in eine explizite Planungsfunktion ein, die das für sie Einfache übernimmt und die endgültigen Lenk- und Beschleunigungsbefehle für das Auto erzeugt. Damit müssen wir nun erklären, wie wir diese Netzwerke trainieren. Und um diese Netzwerke zu trainieren, benötigen wir große Datensätze. Ich bitte Andrej, kurz über die manuelle Annotation zu sprechen.
Ja, also die Daten – die Geschichte der Datensätze ist entscheidend. Natürlich. Bisher haben wir nur über neuronale Netze gesprochen. Aber neuronale Netze legen nur eine Obergrenze für die Leistung fest. Viele dieser neuronalen Netze haben Hunderte von Millionen Parametern. Und diese Hunderte von Millionen Parametern müssen korrekt eingestellt werden. Bei einer schlechten Parametereinstellung funktioniert es nicht. Neuronale Netze sind also nur eine Obergrenze. Man braucht außerdem riesige Datensätze, um tatsächlich die richtigen Algorithmen in ihnen zu trainieren. Nun habe ich insbesondere erwähnt, dass wir Datensätze direkt im Vektorraum wollen. Und so wird die eigentliche Frage: Wie kann man das anhäufen? Denn unsere Netzwerke haben Hunderte Millionen Parameter. Wie häuft man Millionen und Abermillionen von saubere und vielfältige Vektorraum-Beispiele an, um diese neuronalen Netze tatsächlich effektiv zu trainieren? Es gibt also eine Geschichte der Datensätze und ihrer Entwicklung, parallel zu all den Modellen und Fortschritten, die wir bisher erreicht haben. Als ich vor etwa vier Jahren eingestiegen bin, haben wir insbesondere mit einem externen Dienstleister zusammengearbeitet, um einen Großteil unserer Datensätze zu beschaffen. Leider haben wir sehr schnell festgestellt, dass die Zusammenarbeit mit einem externen Dienstleister für Datensätze zu etwas so Kritischem einfach nicht ausreichen würde. Die Latenz bei der Zusammenarbeit mit einem externen Dienstleister war extrem hoch, und ehrlich gesagt war die Qualität auch nicht herausragend. Und so haben wir, im Geiste der vollständigen vertikalen Integration bei Tesla, die gesamte Annotation intern übernommen. Und so ist mit der Zeit eine Datenannotations-Organisation mit über 1.000 Mitarbeitern entstanden, bestehend aus professionellen Annotatoren, die sehr eng mit den Ingenieuren zusammenarbeiten. Tatsächlich sitzen sie hier in den USA und sind mit den Ingenieuren hier in der Bay Area auch räumlich zusammen untergebracht. Wir arbeiten also sehr eng mit ihnen zusammen und bauen auch die gesamte Infrastruktur für sie selbst von Grund auf. Wir haben also ein Team, das wir später heute noch treffen werden, das die gesamte Infrastruktur für den Data Lake entwickelt und pflegt. Hier zum Beispiel zeige ich einige Screenshots der Latenz-, Durchsatz- und Qualitätsstatistiken, die wir für alle Annotationsworkflows, die einzelnen beteiligten Personen, alle Aufgaben und die Entwicklung der Anzahl der Labels über die Zeit führen. Wir halten das für sehr wichtig und sind sehr stolz darauf. Am Anfang, vor etwa drei oder vier Jahren, fand der Großteil unserer Annotation im Bildraum statt. Und wie Sie sich vorstellen können, dauert es ziemlich lange, ein solches Bild zu annotieren. Und so sah das aus: Wir haben quasi Polygone und Polylinien direkt auf diese einzelnen Bilder gezeichnet. Wie gesagt, brauchen wir Millionen von Labels im Vektorraum, also wird das nicht ausreichen. Wir sind daher sehr schnell zu drei- oder vierdimensionaler Annotation übergegangen, bei der wir direkt im Vektorraum annotieren, nicht mehr in einzelnen Bildern. Was ich hier zeige, ist ein Clip, und Sie sehen eine sehr kleine Rekonstruktion. Ihr werdet schon bald noch viele weitere Rekonstruktionen sehen. Aber das ist eine sehr kleine Rekonstruktion der Bodenebene, auf der das Auto gefahren ist, und ein kleiner Teil der hier rekonstruierten Punktwolke. Und was ihr hier seht, ist, dass der Labeler die Labels direkt im Vektorraum ändert, und wir projizieren diese Änderungen anschließend zurück in die Kamerabilder. Wir labeln also direkt im Vektorraum. Und das hat unseren Durchsatz bei vielen unserer Labels massiv erhöht, denn man labelt einmal in 3D und kann es dann reprojizieren. Aber selbst das, haben wir festgestellt, würde nicht ausreichen. Denn Menschen und Computer haben unterschiedliche Vor- und Nachteile. Menschen sind extrem gut in Dingen wie Semantik, aber Computer sind sehr gut in Geometrie, Rekonstruktion, Triangulation, Tracking. Für uns wird es also wirklich viel mehr zu einer Frage, wie Menschen und Computer zusammenarbeiten, um diese Vektorraum-Datensätze tatsächlich zu erstellen. Wir werden jetzt also über Auto-Labeling sprechen, einen Teil der Infrastruktur, die wir entwickelt haben, um diese Clips in großem Maßstab zu labeln.
Hallo zusammen, ich bin's wieder. Obwohl wir also viele menschliche Arbeitskräfte haben, übersteigt die Menge an Trainingsdaten, die zum Training des Netzwerks benötigt wird, ihre Zahl deutlich. Deshalb haben wir versucht, massiv in eine Auto-Labeling-Pipeline zu investieren. Hier ist ein Beispiel dafür, wie wir einen einzelnen Clip labeln. Ein Clip ist eine Einheit mit dichten Sensordaten wie Videos, IMU-Daten, GPS, Odometrie und so weiter. Das kann zwischen 45 Sekunden und einer Minute lang sein. Diese können von unseren eigenen Entwicklungsfahrzeugen oder von Kundenfahrzeugen hochgeladen werden. Wir sammeln diese Clips und senden sie dann an unsere Server, wo wir offline viele neuronale Netze laufen lassen, um Zwischenergebnisse wie Segmentierung, Matting, Tiefen-Punktzuordnung usw. zu erzeugen. Das geht dann durch viele Robotik- und KI-Algorithmen, um einen finalen Satz von Labels zu erzeugen, die zum Training der Netzwerke verwendet werden können. Einer der ersten Schritte, die wir labeln wollen, ist die Straßenoberfläche. Normalerweise können wir Splines oder Meshes verwenden, um die Straßenoberfläche darzustellen, aber aufgrund der Topologiebeschränkungen sind diese nicht differenzierbar und eignen sich nicht dafür. Was wir statt dessen tun, orientiert sich am Stil der Arbeiten zu neuronalen Radiance Fields vom letzten Jahr, die recht populär sind. Wir verwenden also eine implizite Darstellung, um die Straßenoberfläche zu repräsentieren. Hier fragen wir XY-Punkte auf dem Boden ab und lassen das Netzwerk die Höhe der Bodenoberfläche vorhersagen, zusammen mit verschiedenen semantischen Informationen wie Kurven, Fahrspurgrenzen, Straßenoberfläche, Fahrraum usw. Aus einem einzelnen XY erhalten wir also ein Z; zusammen bilden sie einen 3D-Punkt, der in alle Kameraansichten zurückprojiziert werden kann. Wir stellen also Millionen solcher Anfragen und erhalten eine große Menge an Punkten. Diese Punkte werden in alle Kameraansichten zurückprojiziert; hier oben rechts zeigen wir ein solches Kamerabild mit allen zurückprojizierten Punkten. Jetzt können wir diesen zurückprojizierten Punkt mit dem Bildraum vergleichen. Die Vorhersage der Segmentierungen und die gemeinsame Optimierung über alle Kameraansichten hinweg, sowohl räumlich als auch zeitlich, ergibt eine ausgezeichnete Rekonstruktion. Hier ist ein Beispiel dafür, wie das aussieht. Hier seht ihr also eine optimierte Straßenoberfläche, die auf die acht Kameras des Autos und über die gesamte Zeit zurückprojiziert wurde. Und man kann sehen, wie konsistent sie sowohl räumlich als auch zeitlich ist. Ein einzelnes Auto, das durch einen bestimmten Ort fährt, kann mit dieser Technik einen Bereich um seine Trajektorie herum abtasten. Aber wir müssen hier nicht aufhören. Hier haben wir verschiedene Clips vom selben Ort gesammelt, vielleicht von unterschiedlichen Autos, und jedes von ihnen tastet einen Teil der Straße ab. Das Coole daran ist, dass wir sie alle in eine einzige riesige Optimierung zusammenführen können. Hier werden diese 16 verschiedenen Fahrten mithilfe verschiedener Merkmale wie Straßenränder und Fahrspurlinien ausgerichtet und organisiert. Sie alle müssen miteinander übereinstimmen und außerdem mit allen bildbasierten Beobachtungen übereinstimmen. Zusammen ergibt das eine effektive Möglichkeit, die Straßenoberfläche zu labeln, nicht nur dort, wo das Auto gefahren ist, sondern auch an anderen Orten, an denen es noch nicht gefahren ist. Nochmals, der Zweck davon ist nicht einfach, HD-Karten oder Ähnliches zu erstellen. Es geht nur darum, die Clips an diesen Kreuzungen zu labeln, damit wir sie nicht ewig pflegen müssen, solange die Labels mit den Videos übereinstimmen, aus denen sie stammen. Optional können Menschen anschließend eingreifen, um verbleibendes Rauschen zu bereinigen oder zusätzliche Metadaten hinzuzufügen, um es noch reichhaltiger zu machen. Wir müssen nicht nur bei der Straßenoberfläche aufhören. Wir können auch beliebig statische 3D-Hindernisse rekonstruieren. Hier ist eine aus unseren Kameras rekonstruierte 3D-Punktwolke. Die wichtigste Neuerung hier ist die Dichte der Punktwolke. Normalerweise benötigen diese Punkte Textur, um Zuordnungen von einem Bild zum nächsten herzustellen. Aber hier gelingt es uns, diese Punkte sogar auf texturlosen Oberflächen wie der Straßenoberfläche oder Wänden zu erzeugen. Und das ist wirklich nützlich, um beliebige Hindernisse zu annotieren, die wir in der Szene, in der Welt, sehen können. Ein weiterer toller Vorteil davon, das alles offline auf den Servern zu machen, ist, dass wir von der Rückschau profitieren. Das ist ein super nützlicher Trick, denn im Auto muss das Netzwerk beispielsweise die Geschwindigkeit bestimmen. Es kann nur die historischen Informationen nutzen und raten, wie hoch die Geschwindigkeit ist. Aber hier können wir sowohl die Vergangenheit als auch die Zukunft betrachten und im Grunde schummeln, um die korrekte Antwort für die Kinematik wie Geschwindigkeit, Beschleunigung usw. zu erhalten. Ein weiterer Vorteil ist, dass wir unterschiedliche Tracks haben können, diese aber selbst über Verdeckungen hinweg zusammenfügen können. Da wir die Zukunft kennen und zukünftige Tracks haben, können wir sie abgleichen und dann miteinander verknüpfen. Hier könnt ihr also sehen, dass die Fußgänger auf der anderen Straßenseite auch bei mehrfacher Verdeckung durch diese Autos durchgehend erfasst bleiben. Das ist für den Planer wirklich wichtig, denn wenn er jemanden gesehen hat, muss er diese Person weiterhin berücksichtigen, auch wenn sie verdeckt ist. Das ist also ein enormer Vorteil. Wenn wir alles zusammenführen, können wir diese erstaunlichen Datensätze erzeugen, die die gesamte Straßentextur, alle statischen Objekte und alle bewegten Objekte annotieren, selbst durch Verdeckungen hindurch, und dabei ausgezeichnete kinematische Labels liefern. Man sieht, wie die Autos geschmeidig abbiegen und dabei wirklich glatte Labels erzeugen. Alle Fußgänger werden konsistent verfolgt, geparkte Autos haben eine Geschwindigkeit von null. So können wir auch feststellen, dass sie geparkt sind. Das ist also riesig für uns. Hier ist noch ein Beispiel für dasselbe. Man kann sehen, wie konsistent alles ist. Wir wollen eine Million solcher gelabelter Clips erzeugen und unsere Multi-Kamera-Videonetzwerke mit einem so großen Datensatz trainieren, um dieses Problem wirklich zu lösen. Wir wollen im Auto dieselbe konsistente Sicht erreichen, die ihr hier seht. Wir haben unsere erste Erforschung dessen mit dem Projekt „Remove the Radar" begonnen. Wir haben ihn in sehr kurzer Zeit entfernt, ich glaube innerhalb von drei Monaten. In den Anfängen des Netzwerks haben wir zum Beispiel festgestellt, dass es bei schlechten Sichtverhältnissen Probleme haben kann, was verständlich ist, denn dieser Lastwagen hat uns offensichtlich gerade eine Menge Schnee abgeladen, und man sieht wirklich schlecht. Aber wir sollten uns trotzdem daran erinnern, dass dieses Auto vor uns war. Aber unsere Netzwerke taten das anfangs nicht, weil es an Daten für solche Bedingungen fehlte. Also haben wir die Flotte gebeten, viele ähnliche Clips zu produzieren, und die Flotte hat reagiert – das hat sie getan. Also produziert sie welche. Spielt es ab? Ja, sie produziert jede Menge Videoclips, in denen allerlei Zeug von anderen Fahrzeugen herunterfällt. Und wir haben das durch unsere Auto-Labeling-Pipeline geschickt, die es geschafft hat, 10.000 Clips innerhalb einer Woche zu labeln. Das hätte mehrere Monate gedauert, wenn Menschen hier jeden einzelnen Clip hätten labeln müssen. Wir haben das für 200 verschiedene Bedingungen gemacht und konnten so sehr schnell große Datensätze erstellen, und so konnten wir ihn entfernen. Sobald wir die Netzwerke also mit diesen Daten trainiert haben, seht ihr, dass es einwandfrei funktioniert. Und es behält die Erinnerung, dass dieses Objekt da war, und liefert das. Letztlich wollten wir tatsächlich einen Cybertruck in einen Datensatz für „Remove the Radar" bekommen. Könnt ihr alle erraten, woher dieser Clip stammt? Ich gebe euch einen Moment Zeit. Jemand hat es gesagt. Ja, ja. Es ist gerendert. Es ist unsere Simulation. Für mich war es anfangs schwer zu erkennen, und wenn ich das selbst sagen darf, sieht es ziemlich hübsch aus. Es sieht wirklich sehr schön aus. Also, ja, zusätzlich zum Auto-Labeling investieren wir auch stark in die Nutzung von Simulation zum Labeln unserer Daten. Das hier ist also dieselbe Szene wie zuvor, nur aus einem anderen Kamerawinkel. Ein paar Dinge, die ich hervorheben wollte. Zum Beispiel ist die Bodenoberfläche kein einfacher, glatter Asphalt. Es gibt viele Narben, Risse und Teerfugen. Darüber liegen auch ein paar Flickstellen. Die Fahrzeuge bewegen sich realistisch. Der Lastwagen ist ein Gelenkfahrzeug, er fährt sogar über den Bordstein und macht eine weite Kurve. Die anderen Autos verhalten sich ähnlich klug. Sie vermeiden Kollisionen, fahren um andere Autos herum und beschleunigen ebenfalls sanft. Sie bremsen und beschleunigen gleichmäßig. Das Auto hier mit dem Logo oben ist im Autopilot-Modus. Tatsächlich fährt Autopilot dieses Auto. Und da, eine geschützte Linksabbiegung. Und da es sich um eine Simulation handelt, beginnt sie im Vektorraum, sodass sie perfekte Labels hat. Hier zeigen wir ein paar der Labels, die wir erzeugen. Das sind Fahrzeug-Quader mit Kinematik, Tiefe, Oberflächennormalen, Segmentierung. Aber Andrej kann eine neue Aufgabe benennen, die er nächste Woche haben möchte, und wir können das sehr schnell produzieren, weil wir bereits den Vektorraum haben und den Code schreiben können, um diese Labels sehr, sehr schnell zu erzeugen. Wann hilft Simulation also? Sie hilft, erstens, wenn die Daten schwer zu beschaffen sind. So groß unsere Flotte auch ist, es kann trotzdem schwer sein, solche verrückten Szenen zu bekommen wie dieses Paar mit seinem Hund, das auf der Autobahn läuft, während andere Autos mit hoher Geschwindigkeit vorbeifahren. Das ist, würde ich sagen, eine recht seltene Szene, aber sie kann trotzdem vorkommen. Und Autopilot muss damit trotzdem umgehen können, wenn es passiert. Wenn Daten schwer zu labeln sind – hier überqueren Hunderte von Menschen die Straße. Das könnte Downtown Manhattan sein, mit Menschen, die die Straße überqueren. Menschen würden mehrere Stunden brauchen, um diesen Clip zu labeln. Und selbst für automatische Labeling-Algorithmen ist es wirklich schwer, die Zuordnung richtig hinzubekommen. Und das kann zu schlechten Geschwindigkeitswerten führen. Aber in der Simulation ist das trivial, weil man die Objekte bereits hat. Man muss nur die Quader und die Geschwindigkeiten ausgeben. Und schließlich, wenn wir Closed-Loop-Verhalten einführen, bei dem sich das Auto in einer entscheidenden Situation befinden muss oder die Daten von den Aktionen abhängen, ist das so ziemlich der einzige zuverlässige Weg, sie zu bekommen. Das ist alles großartig. Was braucht es, damit das möglich wird? Erstens, eine präzise Sensorsimulation. Nochmals, der Zweck der Simulation ist nicht nur, hübsche Bilder zu erzeugen. Sie muss erzeugen, was die Kamera und das Auto sehen würden, und was andere Sensoren wahrnehmen würden. Hier gehen wir verschiedene Belichtungseinstellungen durch – die echte Kamera links und die Simulation rechts. Wir können so ziemlich genau nachbilden, was die echten Kameras tun. Um das zu erreichen, mussten wir viele Eigenschaften der Kamera in unserer Sensorsimulation modellieren, angefangen beim Sensorrauschen, Bewegungsunschärfe, optischen Verzerrungen, sogar der Scheinwerfer-Transmission, bis hin zu Beugungsmustern der Windschutzscheibe und so weiter. Wir nutzen das nicht nur für die Autopilot-Software. Wir nutzen es auch für Hardware-Entscheidungen wie Objektivdesign, Kameradesign, Sensorplatzierung und sogar die Transmissionseigenschaften der Scheinwerfer. Zweitens müssen wir die Grafik realistisch rendern. Man kann sich das nicht leisten, was die Gaming-Industrie „Jaggies" nennt. Das sind Aliasing-Artefakte, die sofort verraten, dass es sich um eine Simulation handelt. Die wollen wir nicht. Wir geben uns also viel Mühe, ein gutes raumzeitliches Anti-Aliasing zu erzeugen. Wir arbeiten außerdem an neuronalen Rendering-Techniken, um das noch realistischer zu machen.
Außerdem verwenden wir Raytracing, um Raytracing-Beleuchtung und globale Beleuchtung zu erzeugen. Okay, das war das letzte Polizeiauto, glaube ich. Wir können offensichtlich nicht wirklich nur vier oder fünf Autos haben, weil das Netzwerk sonst leicht overfitten würde, da es die Größen kennt. Wir brauchen also realistische Assets, wie diesen Elch hier auf der Straße. Wir haben Tausende von Assets in unserer Bibliothek, sie können verschiedene Oberteile tragen und sich tatsächlich realistisch bewegen. Das ist also wirklich cool. Wir haben außerdem viele verschiedene Orte kartiert und erstellt, um diese Simulationsumgebungen zu schaffen. Wir haben tatsächlich 2.000 Meilen Straße gebaut. Und das ist fast so lang wie die Straßenstrecke von der Ostküste zur Westküste der USA, was ich ziemlich cool finde. Außerdem haben wir effiziente Tools entwickelt, mit denen ein einzelner Artist an einem einzigen Tag mehrere weitere Meilen bauen kann. Aber das ist erst die Spitze des Eisbergs. Eigentlich. Die meisten Daten, die wir zum Training verwenden, werden prozedural mit Algorithmen erzeugt, anstatt von Künstlern, die diese Simulationsszenarien gestalten. Es handelt sich also um vollständig prozedural erzeugte Straßen mit zahlreichen Parametern wie Kurvenradius, verschiedenen Bäumen, Pylonen, Masten, Autos mit unterschiedlichen Geschwindigkeiten, und ihr Zusammenspiel erzeugt einen endlosen Datenstrom für das Netzwerk. Aber ein Großteil dieser Daten kann langweilig sein, weil das Netzwerk sie möglicherweise schon richtig verarbeitet. Deshalb nutzen wir auch auf maschinellem Lernen basierende Verfahren, um das Netzwerk gezielt zu stören, zu sehen, wo es versagt, und um mehr Daten rund um diese Fehlerpunkte zu erzeugen. Das Ganze läuft also in einer geschlossenen Schleife, mit dem Ziel, die Leistung des Netzwerks zu verbessern. Aber wir wollen dabei nicht stehen bleiben. Tatsächlich wollen wir jeden Fehler, der bei Autopilot auftritt, in der Simulation nachbilden, damit wir Autopilot von da an immer an diesem gleichen Maßstab messen können. Links sehen Sie also einen echten Clip, der von einem Auto aufgenommen wurde. Dieser durchläuft dann unsere automatische Labeling-Pipeline, um eine 3D-Rekonstruktion der Szene samt aller sich bewegenden Objekte zu erzeugen. Kombiniert mit den ursprünglichen visuellen Informationen rekonstruieren wir dieselbe Szene synthetisch und erzeugen daraus vollständig ein Simulationsszenario. Wenn wir Autopilot dann darin erneut laufen lassen, kann er völlig neue Dinge tun, und wir können aus dem ursprünglichen Fehler neue Welten und neue Ergebnisse entstehen lassen. Das ist großartig, denn wir wollen wirklich nicht, dass Autopilot versagt. Und wenn er versagt, wollen wir das erfassen und ihn dauerhaft an diesem Maßstab messen. Aber das ist nicht alles: Wir können den vorhin beschriebenen Ansatz tatsächlich noch einen Schritt weiterführen. Wir können neuronale Rendering-Verfahren einsetzen, um es noch realistischer aussehen zu lassen. Wir nehmen also den ursprünglichen Videoclip, erstellen daraus eine synthetische Simulation und wenden anschließend neuronale Rendering-Verfahren darauf an. Und dabei entsteht das hier, was meiner Meinung nach erstaunlich aussieht, denn es ist sehr realistisch und wirkt fast, als wäre es von den echten Kameras aufgenommen worden. Das ist ein Ergebnis von letzter Nacht, weil es einfach cool war und wir es zeigen wollten. Aber ja, ich bin wirklich begeistert davon, was die Simulation erreichen kann. Aber das ist kein Hokuspokus, denn die im Auto eingesetzten trainierten Netzwerke nutzen bereits Simulationsdaten. Wir haben 300 Millionen Bilder mit fast einer halben Milliarde Labels verwendet. Und wir wollen alle Aufgaben bewältigen, die in den kommenden Monaten noch auf uns zukommen. Damit möchte ich Milan bitten zu erklären, wie wir diese Abläufe skalieren und daraus wirklich eine Label-Fabrik bauen, die Millionen von Labels ausgibt.
In Ordnung, danke, Ashok. Hallo zusammen. Ich bin Milan. Ich bin für die Integration unserer neuronalen Netzwerke ins Auto verantwortlich sowie für den größten Teil unserer Infrastruktur zum Trainieren und Evaluieren neuronaler Netzwerke. Heute Abend möchte ich daher zunächst einen Eindruck davon geben, wie viel Rechenleistung nötig ist, um eine solche Datengenerierungs-Fabrik zu betreiben. Konkret, im Rahmen der Anstrengung, die unser Team vor einigen Monaten unternommen hat, um die Abhängigkeit von Autopilot vom Radarsensor zu beseitigen, haben wir über 10 Milliarden Labels auf zweieinhalb Millionen Clips erzeugt. Um das zu schaffen, mussten wir unsere riesigen offline arbeitenden Netzwerke sowie unsere Simulationsengine auf Tausende von GPUs und knapp 20.000 CPU-Kerne skalieren. Darüber hinaus haben wir über 2000 echte Autopilot-Full-Self-Driving-Computer in die Schleife mit unserer Simulationsengine eingebunden. Und das ist bereits unser kleinster Rechencluster. Ich möchte Ihnen daher eine Vorstellung davon geben, was nötig ist, um unsere neuronalen Netzwerke zu nehmen und ins Auto zu bringen. Die beiden Hauptbeschränkungen, an denen wir hier arbeiten, sind vor allem Latenz und Bildrate, die für die Sicherheit sehr wichtig sind, aber auch um korrekte Schätzungen von Beschleunigung und Geschwindigkeit unserer Umgebung zu erhalten. Der Kern des Problems liegt also wirklich bei dem KI-Compiler, den wir hier in der Gruppe schreiben und weiterentwickeln und der die Rechenoperationen unseres PyTorch-Modells auf eine Reihe dedizierter, beschleunigter Hardwarebausteine abbildet. Und das tun wir, während wir zugleich einen auf Durchsatz optimierten Ablaufplan finden müssen, der unter strengen SRAM-Beschränkungen funktioniert. Und übrigens machen wir das nicht nur auf einer Engine, sondern über beide Engines im Autopilot-Computer hinweg. Hier bei Tesla nutzen wir diese Engines so, dass zu jedem Zeitpunkt nur eine davon tatsächlich Steuerbefehle an das Fahrzeug ausgibt, während die andere als Rechenerweiterung dient. Diese Rollen sind jedoch sowohl auf Hardware- als auch auf Softwareebene austauschbar. Wie gelingt es uns also, als Gruppe schnell durch diese KI-Entwicklungszyklen zu iterieren? Zunächst haben wir in den letzten Jahren unsere Kapazität, Software und neuronale Netzwerke zu evaluieren, drastisch ausgebaut. Und heute führen wir wohl über eine Million Auswertungen pro Woche durch, für jede einzelne Codeänderung, die das Team vornimmt. Diese Auswertungen laufen auf über 3000 echten Full-Self-Driving-Computern, die in einem eigenen Cluster miteinander verbunden sind. Und darüber hinaus entwickeln wir wirklich coole Debugging-Tools. Hier sehen Sie also ein Video eines unserer Tools, das Entwicklern hilft, bei der Entwicklung neuronaler Netzwerke zu iterieren, indem es live die Ausgaben verschiedener Revisionen eines bestimmten Netzwerkmodells vergleicht, während man live durch Videoclips iteriert. Und schließlich, nicht weniger wichtig, haben wir unsere Rechenleistung für das Training neuronaler Netzwerke in den letzten Jahren drastisch skaliert. Und heute liegen wir knapp unter 10.000 GPUs, was, um Ihnen eine Vorstellung zu geben, allein an der Anzahl der GPUs mehr ist als die fünf bekanntesten öffentlichen Supercomputer der Welt. Aber das reicht noch nicht. Daher möchte ich nun Ganesh einladen, über die nächsten Schritte zu sprechen.
Danke, Milan. Mein Name ist Ganesh, und ich leite das Projekt Dojo. Es ist mir eine Ehre, dieses Projekt im Namen des multidisziplinären Tesla-Teams vorzustellen, das daran arbeitet. Wie Sie bei Milan gesehen haben, gibt es einen unstillbaren Bedarf an Geschwindigkeit und Kapazität für das Training neuronaler Netzwerke. Und Elon hatte das bereits vorausgesehen. Vor einigen Jahren bat er uns, einen superschnellen Trainingscomputer zu entwerfen. Und so haben wir das Projekt Dojo gestartet. Unser Ziel ist es, die beste KI-Trainingsleistung zu erreichen, all diese größeren, komplexeren Modelle zu unterstützen, von denen Andrejs Team träumt, und dabei gleichzeitig energieeffizient und kostengünstig zu sein. Wir haben also überlegt, wie wir das umsetzen können, und sind auf eine verteilte Rechenarchitektur gekommen. Schließlich sind alle existierenden Trainingscomputer in der einen oder anderen Form verteilte Systeme. Sie besitzen Rechenelemente im Gehäuse, die über irgendeine Art von Netzwerk verbunden sind. In diesem Fall ist es ein zweidimensionales Netzwerk, aber es könnte auch jedes andere Netzwerk sein. CPU, GPU, Beschleuniger – sie alle verfügen über Rechenleistung, ein wenig Speicher und ein Netzwerk. Doch ein gemeinsamer Trend dabei ist: Es ist leicht, die Rechenleistung zu skalieren, sehr schwer, die Bandbreite zu skalieren, und extrem schwer, die Latenzen zu senken. Und Sie werden sehen, wie unser Designansatz darauf eingegangen ist, wie unsere Philosophie diese Aspekte der klassischen Grenzen adressiert hat. Für Dojo haben wir uns eine große Rechenebene vorgestellt, gefüllt mit sehr robusten Rechenelementen, unterstützt durch einen großen Speicherpool und verbunden durch ein Fabric mit sehr hoher Bandbreite und niedriger Latenz in einem 2D-Mesh-Format. Und darauf aufbauend werden für extreme Skalierung große neuronale Netzwerke partitioniert und zugeordnet, um verschiedene Formen von Parallelität zu nutzen: Modell-, Graph- und Datenparallelität. Anschließend nutzt unser neuronaler Compiler räumliche und zeitliche Lokalität, um den Kommunikationsaufwand auf lokale Zonen zu beschränken und die globale Kommunikation zu reduzieren. Wenn wir das tun, kann unsere Bandbreitennutzung weiter mit der gewünschten Rechenebene mitwachsen. Dabei wollten wir das Problem von oben bis unten im Stack angehen und jegliche Engpässe auf jeder dieser Ebenen beseitigen. Beginnen wir diese Reise von innen nach außen, angefangen beim Chip. Wie bereits beschrieben, besitzen Chips Rechenelemente. Unsere kleinste Skaliereinheit wird Trainingsknoten genannt. Und die Wahl dieses Knotens ist entscheidend, um eine nahtlose Skalierung zu gewährleisten. Wählt man ihn zu klein, läuft er zwar schnell, aber der Overhead durch Synchronisation und Software dominiert dann. Wählt man ihn zu groß, entstehen Komplexitäten bei der Umsetzung in der realen Hardware, und man stößt letztlich auf Speicherprobleme. Engpassprobleme. Denn wir wollten Latenz und Bandbreite als unseren primären Optimierungspunkt angehen. Sehen wir uns an, wie wir dabei vorgegangen sind. Wir haben die größte Distanz ermittelt, die ein Signal innerhalb eines einzigen Taktzyklus bei sehr hoher Taktfrequenz zurücklegen kann. In diesem Fall mehr als 2 Gigahertz. Und wir haben eine Box um diese Distanz gezogen. Das ist die kleinste Latenz, mit der ein Signal einen Zyklus bei sehr hoher Frequenz durchlaufen kann. Anschließend haben wir diese Box bis an die Grenze mit Leitungen vollgepackt. Das ist die höchste Bandbreite, mit der man diese Box versorgen kann. Danach haben wir darunter Machine-Learning-Rechenleistung hinzugefügt, gefolgt von einem großen SRAM-Speicherpool. Und schließlich einen programmierbaren Kern zur Steuerung. Und so entstand unser leistungsstarker Trainingsknoten. Dabei handelt es sich um eine 64-Bit-Superskalar-CPU, optimiert auf Matrixmultiplikationseinheiten und Vektor-SIMD. Er unterstützt Floating Point 32, BFLOAT16 sowie ein neues Format, CFP8, ein konfigurierbares FP8. Er wird unterstützt von 1,25 Megabyte schnellem, ECC-geschütztem SRAM sowie dem von uns entwickelten Fabric mit niedriger Latenz und hoher Bandbreite. Das mag unsere kleinste Skaliereinheit sein, aber sie hat es ordentlich in sich. Mehr als ein Teraflop Rechenleistung in unserer kleinsten Skaliereinheit. Schauen wir uns also die Architektur davon an. Die hier anwesenden Computerarchitekten erkennen das vielleicht wieder. Das ist eine sehr leistungsfähige Architektur, das sieht man sofort. Es handelt sich um eine superskalare In-Order-CPU mit einer 4-fach breiten Vektor-Pipeline und einer 2-fach breiten Pipeline. 4-fach breite Skalar- und 2-fach breite Vektor-Pipelines. Wir nennen sie „in order“, also in-order. Obwohl die Vektor- und Skalar-Pipelines durchaus out-of-order arbeiten können. Aber für die Puristen unter Ihnen: Wir nennen sie trotzdem weiterhin „in order“. Außerdem verfügt sie über vierfaches Multithreading. Das erhöht die Auslastung, da wir Berechnung und Datentransfer gleichzeitig durchführen können. Und unsere eigene ISA, also die Befehlssatzarchitektur, ist vollständig für Machine-Learning-Workloads optimiert. Sie bietet Funktionen wie Transponieren, Gather-Link-Traversierungen oder Broadcast, um nur einige zu nennen. Und selbst auf physischer Ebene haben wir sie extrem modular gestaltet, sodass wir diese Trainingsknoten in jede beliebige Richtung aneinanderfügen und so die geplante Rechenebene aufbauen konnten. Wenn wir 354 dieser Trainingsknoten zusammenfügen, erhalten wir unser Compute-Array. Es ist in der Lage, 300 Teraflops an Machine-Learning-Rechenleistung zu liefern. Und natürlich das Fabric mit hoher Bandbreite, das sie miteinander verbindet. Und rund um dieses Compute-Array haben wir es mit 576 schnellen, stromsparenden SerDes umgeben, um eine extreme I/O-Bandbreite für diesen Chip zu erreichen. Um Ihnen einen Vergleichswert zu geben: Das ist mehr als doppelt so viel Bandbreite, wie sie die heute modernsten Netzwerk-Switch-Chips bieten. Und Netzwerk-Switch-Chips gelten eigentlich als der Goldstandard für I/O-Bandbreite. Setzt man alles zusammen, erhält man unseren für das Training optimierten Chip, unseren D1-Chip. Dieser Chip wird in 7-Nanometer-Technologie gefertigt. Er vereint 50 Milliarden Transistoren auf einer winzigen Fläche von nur 645 Quadratmillimetern. Eine Sache werden Sie bemerken: Hundert Prozent der Fläche hier fließen in Machine Learning, Training und Bandbreite. Es gibt kein ungenutztes „Dark Silicon“, keine Altlast-Unterstützung. Das ist eine reine Machine-Learning-Maschine. Und. Das ist der D1-Chip in einem Flip-Chip-BGA-Gehäuse. Das wurde vollständig intern vom Tesla-Team entworfen, von der Architektur bis hin zum finalen GDS und Package. Dieser Chip bietet Rechenleistung auf GPU-Kern-Niveau mit der Flexibilität einer CPU und einer doppelt so hohen I/O-Bandbreite wie ein Netzwerk-Chip. Würde ich die I/O-Bandbreite auf der vertikalen Achse gegen die verfügbaren Teraflops der modernsten Machine-Learning-Chips auftragen, einschließlich einiger Start-up-Chips, würden Sie sofort erkennen, warum unser Designansatz weit über dem Durchschnitt liegt. Nachdem wir nun diesen fundamentalen physischen Baustein hatten, stellte sich die Frage, wie man das System darum herum gestaltet. Sehen wir uns das an. Da sich D1-Chips nahtlos und ohne jegliche Verbindungslogik miteinander verbinden lassen, haben wir sie einfach zusammengesetzt. Wir haben einfach zusammengefügt. 500.000 Trainingsknoten zusammen, um unsere Rechenebene zu bilden. Das sind 1500 D1-Chips, die nahtlos miteinander verbunden sind. Anschließend fügen wir an beiden Enden Dojo-Interface-Prozessoren hinzu. Das ist die Host-Bridge zu den üblichen Hosts in den Rechenzentren. Sie ist auf der einen Seite über PCI Gen 4 angebunden und auf der anderen über ein Fabric mit hoher Bandbreite mit unserer Rechenebene verbunden. Die Interface-Prozessoren stellen nicht nur die Host-Bridge bereit, sondern auch gemeinsam genutzten DRAM-Speicher mit hoher Bandbreite für die Rechenebene. Darüber hinaus ermöglichen uns die Interface-Prozessoren auch eine Netzwerkverbindung mit höherem Radix. Um diese Rechenebene zu realisieren, mussten wir eine neue Methode entwickeln, diese Chips miteinander zu integrieren. Und das nennen wir eine Training-Tile. Das ist die Skaliereinheit unseres Systems. Das ist eine bahnbrechende Integration von 25 geprüften, fehlerfreien D1-Dies auf einem Fan-out-Wafer-Prozess, so eng integriert, dass die Bandbreite zwischen ihnen erhalten bleibt. Die maximale Bandbreite bleibt dort erhalten. Außerdem haben wir einen Steckverbinder entwickelt, einen Hochdichte-Steckverbinder mit hoher Bandbreite, der die aus dieser Training-Tile austretende Bandbreite erhält. Und diese Tile liefert uns neun Petaflops an Rechenleistung mit einer gewaltigen I/O-Bandbreite, die daraus hervorgeht. Das ist vielleicht das größte organische Multi-Chip-Modul (MCM) der Chipindustrie. Multi-Chip-Modul. Das war nicht leicht zu entwerfen. Es gab dafür keine existierenden Werkzeuge. Alle Werkzeuge gaben den Geist auf. Selbst unser Rechencluster kam damit nicht zurecht. Wir mussten. Unsere Ingenieure fanden verschiedene Wege, dieses Problem zu lösen. Sie entwickelten neue Methoden, um das zur Realität zu machen. Nachdem wir nun unsere Rechenebenen-Tile mit hoher I/O-Bandbreite hatten, mussten wir sie noch mit Strom versorgen. Und hier haben wir eine neue Methode entwickelt, um die Stromversorgung vertikal zu gestalten. Wir haben ein maßgeschneidertes Spannungsreglermodul entwickelt, das direkt auf den Fan-out-Wafer aufgelötet werden kann (Reflow-Verfahren). Was wir hier gemacht haben: Wir haben ein Chip-Package genommen und die Reflow-Technologie auf PCB-Ebene auf diese Fan-out-Wafer-Technologie übertragen. Das ist hier schon eine Menge Integration. Aber wir haben hier nicht aufgehört. Wir haben hier die gesamte elektrische, thermische und mechanische Umgebung integriert, um unsere Trainingskachel (Training Tile) zu bilden. Vollständig integriert, mit einer Schnittstelle für einen 52-Volt-Gleichstromeingang. Das ist beispiellos. Das ist eine erstaunliche Ingenieurleistung. Unsere Rechenebene ist völlig unabhängig (orthogonal) von Stromversorgung und Kühlung. Das ermöglicht Rechenebenen mit hoher Bandbreite. Was es ist: eine Trainingskachel mit neun Petaflops. Das wird zur Maßeinheit für die Skalierung unseres Systems. Und das ist real. Ich kann nicht glauben, dass ich hier neun Petaflops in der Hand halte. Und tatsächlich haben wir letzte Woche unsere erste funktionsfähige Trainingskachel erhalten. Und auf einem Testaufbau mit sehr begrenzter Kühlung haben wir einige Netzwerke zum Laufen gebracht. Mir wurde gesagt, dass Andre erst glauben würde, dass wir Netzwerke laufen lassen können, wenn wir eine seiner Schöpfungen zum Laufen bringen. Andre, das ist Mingpt2, das auf Dojo läuft. Glaubst du es jetzt? Als Nächstes: Wie man daraus einen Rechencluster bildet. Inzwischen dürfte euch aufgefallen sein, dass unser Modularitätskonzept wirklich stark ist. Wir setzen einfach ein paar Kacheln zusammen. Wir haben einfach Kacheln miteinander verbunden. Eine Anordnung von zwei mal drei Kacheln in einem Tray bildet unsere Trainingsmatrix. Und zwei Trays in einem Schrank ergeben 100 Petaflops Rechenleistung. Haben wir hier aufgehört? Nein, wir haben einfach nahtlos weiter integriert. Wir haben die Wände der Schränke durchbrochen. Wir haben diese Kacheln durchgehend nahtlos integriert und dabei die Bandbreite erhalten. Es gibt hier keinen Bandbreiteneinbruch. Es gibt keine Bandbreiten-Klippen. Alle Kacheln sind nahtlos mit derselben Bandbreite verbunden. Und damit. Haben wir einen ExaPod. Das ist ein Exaflop Rechenleistung in 10 Schränken. Das sind mehr als eine Million Trainingsknoten, die ihr gesehen habt. Wir haben diesem Trainingsknoten äußerst sorgfältige Aufmerksamkeit gewidmet. Und hier gibt es 1 Million Knoten mit einheitlicher Bandbreite, und das betrifft nicht nur die Hardware. Die Software-Aspekte sind genauso wichtig, um die Skalierung zu gewährleisten. Und nicht jede Aufgabe benötigt einen riesigen Cluster. Deshalb haben wir das von Anfang an eingeplant. Unsere Rechenebene kann unterteilt, partitioniert werden in Einheiten, die Dojo Processing Unit genannt werden. Eine DPU besteht aus einem oder mehreren D1-Chips. Sie verfügt außerdem über unseren Interface-Prozessor und einen oder mehrere Hosts. Und das kann je nach Bedarf jedes Algorithmus, jedes darauf laufenden Netzwerks nach oben oder unten skaliert werden. Was muss der Nutzer dafür tun? Er muss seine Skripte nur minimal ändern. Und das liegt an unserer leistungsstarken Compiler-Suite. Sie kümmert sich um feingranulare Parallelität und bildet die neuronalen Netze sehr effizient auf unsere Rechenebene ab. Unser Compiler nutzt mehrere Techniken, um Parallelität zu extrahieren. Er kann die Netzwerke so umwandeln, dass nicht nur feingranulare Parallelität mittels Daten-, Modell- und Graph-Parallelitätstechniken erreicht wird. Er kann außerdem Optimierungen vornehmen, um den Speicherbedarf zu reduzieren. Ein wichtiger Punkt: Dank der hohen Bandbreite unseres Verbindungsgewebes (Fabric) kann die Modellparallelität auf ein Niveau ausgeweitet werden, das vorher nicht möglich war. Sie war bisher auf die Grenzen eines einzelnen Chips beschränkt. Jetzt können wir sie dank unserer hohen Bandbreite auf Trainingskacheln und darüber hinaus ausweiten. So können große Netzwerke hier effizient auch bei kleinen Batch-Größen abgebildet werden, was eine hohe Auslastung und neue Leistungsniveaus ermöglicht. Darüber hinaus kann unser Compiler high-level-dynamische Kontrollflüsse wie Schleifen, If-then-else-Anweisungen usw. verarbeiten. Und unsere Compiler-Engine ist nur ein Teil unserer gesamten Software-Suite. Der Stack umfasst eine Erweiterung für Pytorch, die dieselben Benutzerschnittstellen bietet, die ML-Wissenschaftler bereits gewohnt sind. Und unser Compiler generiert Code on the fly, sodass dieser für nachfolgende Ausführungen wiederverwendet werden kann. Er verfügt über ein LLVM-Backend, das die Binärdatei für die Hardware erzeugt. Und das stellt sicher, dass wir optimierten Code für die Hardware erstellen können, ohne auch nur eine einzige Zeile handgeschriebenen Kernel-Codes zu benötigen. Unser Treiber-Stack übernimmt das Multi-Host- und Multi-Partitioning, das ihr ein paar Folien zuvor gesehen habt. Und außerdem haben wir Profiler und Debugger in unserem Software-Stack. Mit all dem haben wir also vertikal integriert. Wir haben die traditionellen Skalierungsgrenzen durchbrochen, und so haben wir Modularität auf allen Ebenen des Stacks erreicht, um neue Leistungsniveaus zu erzielen. Zusammengefasst: So wird es aussehen. Es wird der schnellste KI-Trainingscomputer sein, mit der 4-fachen Leistung bei gleichen Kosten, 1,3-fach besserer Leistung pro Watt – also Energieeinsparung – und einem 5-mal kleineren Platzbedarf. Das wird der Dojo-Computer sein. Wir sind noch nicht fertig. Wir werden unsere ersten Schränke schon sehr bald zusammenbauen, und wir haben bereits einen kompletten Plan für die nächste Generation. Wir denken an das 10-Fache, mit verschiedenen Aspekten, die wir erneut vom Silizium bis zum System optimieren können. Wir werden diesen Weg erneut gehen. Wir stellen in all diesen Bereichen massiv Mitarbeiter ein. Vielen Dank. Als Nächstes wird Elon uns darüber informieren, was es bei der KI über unsere Fahrzeugflotte hinaus gibt.
Ra. Danke. Im Gegensatz zu Dojo war das hier natürlich nicht real. Also, Dojo ist real, und der Tesla Bot wird real sein. Aber im Grunde, wenn man bedenkt, was wir gerade mit den Autos machen, ist Tesla wohl das größte Robotikunternehmen der Welt, denn unsere Autos sind wie halb-empfindungsfähige Roboter auf Rädern, mit dem Full-Self-Driving-Computer, der im Grunde die Inferenz-Engine im Auto ist und sich natürlich weiter entwickeln wird. Und mit Dojo und all den neuronalen Netzen, die die Welt erkennen und verstehen, wie man sich in ihr bewegt, macht es irgendwie Sinn, das Ganze in eine humanoide Form zu bringen. Und wir sind auch ziemlich gut bei Sensoren, Batterien und Aktuatoren. Wir denken also, dass wir irgendwann nächstes Jahr wahrscheinlich einen Prototyp haben werden, der im Grunde so aussieht. Und er soll natürlich freundlich sein, sich in einer für Menschen gebauten Welt zurechtfinden und gefährliche, repetitive und langweilige Aufgaben übernehmen. Wir gestalten ihn so, dass man ihm auf mechanischer, auf physischer Ebene entkommen und ihn höchstwahrscheinlich überwältigen kann. Hoffentlich passiert das also nie, aber man weiß ja nie. Also wird es, weißt du, ein... Leichtgewicht sein. Ein Leichtgewicht, ja. Jedenfalls, fünf Meilen pro Stunde. Wenn du schneller laufen kannst als das, wäre es in Ordnung. Also ja, er ist etwa 1,73 Meter groß, hat am Kopf eine Art Bildschirm für nützliche Informationen, aber sonst steckt im Grunde das Autopilot-System drin. Er hat also Kameras, acht Kameras, und ja, den Full-Self-Driving-Computer, und nutzt dieselben Werkzeuge, die wir auch im Auto verwenden. Also, was ich meine: Was bei einem nützlichen humanoiden Roboter wirklich schwierig ist, ist, dass er sich nicht in der Welt bewegen kann, ohne explizit trainiert zu werden. Ich meine, ohne explizite, quasi Zeile-für-Zeile-Anweisungen. Kann man mit ihm sprechen und sagen: Bitte nimm diese Schraube und befestige sie mit diesem Schraubenschlüssel am Auto – und er sollte das können. Er sollte in der Lage sein, weißt du, bitte geh zum Laden und hol mir folgende Lebensmittel, so etwas in der Art. Also ja, ich denke, das können wir schaffen. Und ja, ich denke, das wird ziemlich, ziemlich tiefgreifend sein, denn wenn man sich fragt, was ist die Wirtschaft? Im Grunde ist es Arbeit. Was passiert also, wenn es keinen Arbeitskräftemangel mehr gibt? Deshalb denke ich, dass es langfristig ein universelles Grundeinkommen braucht. Ja. Aber nicht jetzt gleich, weil dieser Roboter noch nicht funktioniert. Wir brauchen also nur noch etwas Zeit. Also. Ja, aber ich denke, im Grunde wird körperliche Arbeit in Zukunft eine Wahl sein. Wenn du es tun willst, kannst du es tun, aber du musst es nicht. Und ja, ich denke, das hat offensichtlich tiefgreifende Auswirkungen auf die Wirtschaft, denn wenn man bedenkt, dass die Wirtschaft im Grunde auf Arbeit basiert – ich meine, Kapital ist Kapital, Ausrüstung ist nur destillierte Arbeit – gibt es dann überhaupt eine echte Grenze für die Wirtschaft? Vielleicht nicht. Also, ja, tretet unserem Team bei und helft mit, das zu bauen. Okay, ich denke, wir holen jetzt alle wieder auf die Bühne, und ihr könnt Fragen stellen, wenn ihr möchtet. Ja, Sam. Okay, cool. Ihr kommt alle wieder auf die Bühne. Ich würde nur gern versuchen, den Kamerawinkel von dort zu bekommen, nicht von der Seite. Okay, cool. Also werden wir wahrscheinlich das Licht wieder anmachen und... Ja, super. Wir beantworten also gerne alle eure Fragen, egal ob zur Software- oder Hardwareseite, wohin sich die Dinge entwickeln, und ja, legt los. Weil die Lichter hier wie Verhörlampen sind. Wir können nämlich wirklich nichts sehen. Ah, so geht's. Super. Okay, cool. Ich kann einfach...
Audience
Okay, so geht's. Zunächst mal, ich meine, danke an alle Vortragenden. Es war einfach super cool, das alles zu sehen. Ich bin einfach neugierig, auf einer eher allgemeinen Ebene, und das ist eher eine Frage für jeden, der sie beantworten möchte. Inwieweit seid ihr daran interessiert, etwas von dem, was ihr macht, in Zukunft zu veröffentlichen oder als Open Source bereitzustellen?
Nun, ich meine, es ist grundsätzlich extrem teuer, dieses System zu entwickeln, also muss das irgendwie bezahlt werden. Ich bin mir nicht sicher, wie man das bezahlen würde. Wenn es vollständig Open Source wäre. Ja, außer die Leute wollen umsonst arbeiten. Aber ich sollte sagen: Wenn andere Autohersteller das lizenzieren und in ihren Autos einsetzen wollen, wäre das cool. Das soll sich nicht nur auf Tesla-Autos beschränken,
Audience
das gilt für den Dojo-Supercomputer. Habt ihr also das Compiler-Problem der Skalierung auf so viele Knoten gelöst, oder... Oder, falls es gelöst ist, gilt das nur für Dojo? Denn ich forsche an Deep-Learning-Beschleunigern, und die richtige Skalierbarkeit oder Verteilung zu erreichen, selbst innerhalb eines einzigen Chips, ist aus Sicht von Forschungsprojekten extrem schwierig. Ich war also einfach neugierig.
Entschuldigung, Mike für Bill.
Bill (Dojo engineer)
Haben wir das Problem gelöst? Noch nicht. Sind wir zuversichtlich, dass wir es lösen werden? Ja, wir haben Netzwerke auf Prototyp-Hardware demonstriert. Jetzt haben wir Modelle, Performance-Modelle, die die Skalierung zeigen. Die Schwierigkeit ist, wie du gesagt hast, wie wir die Lokalität beibehalten: Wenn wir genug Modellparallelität und genug Datenparallelität einsetzen können, um die meisten Dinge lokal zu halten, dann skalieren wir einfach weiter. Wir müssen die Parameter in unseren Arbeitsspeicher einpassen. In unserem SRAM, das wir haben, und wir lassen es durch die Pipeline fließen. Es gibt viele Möglichkeiten.
Bill (Dojo engineer)
Je weiter wir zu fortschrittlicheren Prozessorknoten mit mehr lokalem Speicher und Kompromissen zwischen Speicher und Bandbreite vorankommen, desto mehr können wir tun. Aber so wie wir es jetzt sehen, sehen wir für die Anwendungen, die Tesla hat, einen klaren Weg, und unser modularer Ansatz bedeutet, dass wir unterschiedliche Verhältnisse, unterschiedliche Aspekte daraus erstellen können. Ich meine, das ist etwas, das wir für unsere internen Anwendungen gewählt haben.
Audience
Ein gewisser Teil davon, ja. Da Training eine Anwendung mit so schlechter Skalierbarkeit ist, könnte man selbst mit all dieser Rechenleistung und einer Hochbandbreiten-Verbindung diese Leistung nicht erreichen, weil man Berechnungen auf begrenztem Speicher an verschiedenen Orten durchführt. Das hat mich sehr neugierig gemacht, als Sie sagten, es sei gelöst, denn ich habe sofort die Gelegenheit ergriffen. Ich würde gerne mehr darüber erfahren, angesichts dessen, wie viel Sie davon als Open Source veröffentlichen können. Ja, ja.
Ich denke, das wird sich in der Praxis zeigen. Dojo sollte also nächstes Jahr einsatzbereit sein, und ich denke, wir werden es natürlich für Training einsetzen, für das Training mit Videodaten. Im Grunde geht es bei der ersten primären Anwendung darum, dass wir riesige Mengen an Videodaten haben, und die Frage ist, wie wir diese riesigen Mengen an Videodaten so effizient wie möglich trainieren und gleichzeitig die benötigte Zeit verkürzen können. Wenn man zum Beispiel versucht, ein Modell für eine Aufgabe zu trainieren, hängt Innovation im Allgemeinen davon ab, wie viele Iterationen es gibt und wie groß der durchschnittliche Fortschritt zwischen den einzelnen Iterationen ist. Und wenn man die Zeit zwischen den Iterationen verkürzen kann, ist die Verbesserungsrate deutlich besser. Wenn also das Training eines Modells manchmal ein paar Tage dauert statt ein paar Stunden, ist das ein großer Unterschied. Aber die eigentliche Bewährungsprobe hier, und das habe ich dem Dojo-Team gesagt, ist: Es ist erfolgreich, wenn das Software-Team den GPU-Cluster abschalten will, aber wenn sie den GPU-Cluster weiter laufen lassen wollen, ist es nicht erfolgreich.
Audience
Hallo, genau hier. Ich habe die Präsentation geliebt. Danke, dass Sie uns hierher eingeladen haben. Ich habe alles geliebt, besonders den Simulationsteil der Präsentation. Ich habe mich gefragt, das sieht sehr, sehr, sehr realistisch aus. Gibt es Pläne, die Simulation irgendwie auf andere Bereiche des Unternehmens auszuweiten? Das Mikro auch. Hallo, ich bin Inglo, ich leite das Autopilot-Simulationsteam. Während wir uns also auf dem Weg zum vollständig autonomen Fahren weiterentwickeln, müssen wir immer mehr Teile des Fahrzeugs simulieren. Derzeit simulieren wir die Fahrzeugdynamik, aber wir werden das BMS brauchen, wir werden die MCU brauchen, wir werden jedes einzelne Teil des Fahrzeugs integriert brauchen, und das macht den Autopilot-Simulator tatsächlich auch außerhalb von Autopilot sehr nützlich. Ich möchte das also erweitern, beziehungsweise wir wollen das letztendlich zu einer universellen Simulationsplattform ausbauen. Aber ich denke, davor werden wir zunächst viel Unterstützung für Optimus aufbauen, und dann... Und etwas weiter in der Zukunft haben wir einige grobe Ideen dazu, wie wir die Simulationsinfrastruktur und einige der coolen Dinge, die wir entwickelt haben, möglicherweise auch Menschen außerhalb des Unternehmens zugänglich machen könnten.
Optimus ist der Codename für den Tesla-Bot. Hoppla. Optimus. Brian?
Audience
Ja, hallo, hier ist Ali Jahanian. Danke für die großartige Präsentation und dafür, dass Sie all diese tollen Dinge zusammengebracht haben. Ja, seit einiger Zeit denke ich, dass das Auto bereits ein Roboter ist, warum also nicht auch ein menschenähnlicher? Es ist ein Roboter. Und ich bin so glücklich, dass Sie heute erwähnt haben, dass Sie so etwas bauen werden. Ich denke besonders, dass dies Möglichkeiten eröffnen kann, Multimodalität miteinander zu verbinden. Zum Beispiel wissen wir, dass in dem Beispiel, das Sie gezeigt haben, wo ein Hund und einige Fußgänger zusammen liefen, die Sprach- und symbolische Verarbeitung wirklich helfen kann, das zu visualisieren. Ich habe mich also gefragt, ob ich etwas mehr über diese Art der Kombination von Modalitäten erfahren könnte, einschließlich Sprache und Bildverarbeitung, da ich zum Beispiel mit mehreren GPT-Modellen gearbeitet habe und mit dem, was Andrej veröffentlicht hat. Und ja, ich habe nicht viel über andere Modalitäten gehört, die in das Auto einfließen, oder zumindest in die Simulation. Gibt es dazu einen Kommentar, den Sie uns mitteilen könnten?
Nun, Fahren basiert im Grunde fast vollständig auf visuellen neuronalen Netzen. Im Grunde läuft das auf einem biologischen visuellen neuronalen Netz. Und was wir hier machen, ist ein auf Silizium basierendes Kamera-Neuronales-Netz. Es gibt also einen gewissen Anteil an Audio: Man möchte hören, ob es zum Beispiel Einsatzfahrzeuge gibt, oder, nehme ich an, mit den Personen im Auto sprechen können. Wenn jemand dem Auto etwas zuruft, muss das Auto verstehen, worum es sich dabei handelt. Also, wissen Sie, alles, was nötig ist, damit es vollständig autonom wird. Ja, danke.
Audience
Hallo, danke für die ganze großartige Arbeit, die Sie gezeigt haben. Meine Frage richtet sich an das Team, denn die gezeigten Daten scheinen überwiegend aus den USA zu stammen, auf denen der FSD-Computer trainiert wird. Aber während es in verschiedenen Ländern eingeführt wird, die ihr eigenes Straßensystem und die damit verbundenen Herausforderungen haben... Wie denken Sie, dass sich das skalieren lässt? Ich nehme zum Beispiel an, dass ein kompletter Neuanfang keine sehr praktikable Lösung ist. Wie übertragt sich das also auf andere Länder?
Nun, es gibt... Tatsächlich trainieren wir mit Daten aus wahrscheinlich etwa 50 verschiedenen Ländern, aber wir müssen uns entscheiden, wissen Sie, um das vollständig autonome Fahren voranzubringen, müssen wir uns für ein Land entscheiden. Und da wir hier ansässig sind, wählen wir die USA, und dann bekommen wir viele Fragen wie: Warum nicht wenigstens Kanada? Nun, weil die Straßen in Kanada ein wenig anders sind. Unterschiedlich genug. Und wenn man versucht, ein schwieriges Problem zu lösen, möchte man sagen, okay, fügen wir jetzt keine zusätzliche Komplexität hinzu, lösen wir es erst für die USA, und dann extrapolieren wir das auf den Rest der Welt. Aber wir verwenden durchaus Videomaterial aus der ganzen Welt.
Ja, ich denke, vieles von dem, was wir entwickeln, ist weitgehend länderunabhängig, im Grunde alle Computer-Vision-Komponenten und so weiter. Das kümmert sich nicht allzu sehr um länderspezifische Besonderheiten. Wissen Sie, verschiedene Länder haben Straßen, sie haben Bordsteine, sie haben Autos, und alles, was wir bauen, ist dafür recht allgemein gehalten.
Und die oberste Direktive lautet: keinen Unfall verursachen.
Genau. Und das gilt für jedes Land.
Ja. Es ist also die oberste Direktive. Und schon jetzt ist das Auto ziemlich gut darin, keine Unfälle zu verursachen. Also, im Grunde, egal was es ist, man soll es nicht treffen. Selbst wenn es ein UFO ist, das auf dem Highway notgelandet ist, soll man es trotzdem nicht treffen; man sollte es nicht erst erkennen müssen, um es nicht zu treffen. Das ist sehr wichtig.
Audience
Geduld. Und ich möchte fragen: Wenn Sie den photometrischen Prozess, die Mehrfachansichts-Geometrie, durchführen, wie groß ist der Fehler, den Sie beobachten? Liegt das etwa bei einem Millimeter, einem Zentimeter? Also ich frage mich nur, falls es nicht vertraulich ist,
Entschuldigung, was ist der, was ist der, was
Audience
der Unterschied zwischen der synthetischen,
Audience
der Unterschied zwischen der synthetisch erzeugten Geometrie und der tatsächlichen Geometrie?
Ja, das liegt normalerweise bei ein paar Zentimetern, drei oder vier Zentimetern, das ist die Standardabweichung.
Audience
Mit verschiedenen Arten von Modalitäten, um diesen Fehler zu verringern.
Wir versuchen hauptsächlich, skalierbare Methoden zur Kennzeichnung zu finden. In manchen Fällen verwenden wir andere Sensoren als Referenz zum Vergleich, aber wir versuchen hauptsächlich, für dieses System Kameras zu verwenden.
Ja, ich meine, ich denke, wir wollen anstreben, dass die Position des Autos auf Zentimeterebene genau ist, wissen Sie, so etwa in dieser Größenordnung.
Natürlich hängt das von der Entfernung ab. Zum Beispiel sind nahe Objekte in der Regel viel genauer als weit entfernte Objekte, und letztere spielen eine geringere Rolle, da das Auto keine Entscheidungen über große Entfernungen hinweg treffen muss. Und je näher es kommt, desto genauer wird es.
Audience
Genau. Viele Fragen. Danke an alle. Meine Frage hat ein wenig mit KI und Fertigung zu tun. Es ist eine Weile her, dass wir etwas über das Konzept des „Alien Dreadnought" gehört haben. Ist der Humanoide, der hinter Ihnen steht... Ist das irgendwie aus der Zeit der „Produktionshölle" hervorgegangen, um zu sagen, dass Menschen in diesem Prozess unterschätzt werden?
Nun, manchmal wird etwas, das ich sage, wissen Sie, zu sehr auf die Spitze getrieben. Es gibt Teile des Tesla-Systems, die fast vollständig automatisiert sind, und es gibt einige Teile, die fast vollständig manuell sind. Und wenn Sie durch das gesamte Produktionssystem gehen würden, würden Sie eine sehr große Bandbreite sehen, von, wie gesagt, vollautomatisch bis fast vollständig manuell. Aber die überwiegende Mehrheit, der größte Teil davon, ist bereits automatisiert. Und mit einigen Änderungen in der Konstruktionsarchitektur, wie dem Übergang zu großen Aluminium-Druckgussteilen unter hohem Druck, können wir das gesamte hintere Drittel des Autos als ein einziges Teil gießen. Und jetzt werden wir auch das vordere Drittel des Autos als ein einziges Teil fertigen. Die Karosseriebaulinie verkleinert sich dadurch um etwa 60 bis 70 Prozent. Aber ja, der Roboter ist nicht speziell durch Fertigungsbedürfnisse motiviert. Es ist nur so, dass wir offensichtlich die Teile herstellen, die für einen nützlichen humanoiden Roboter benötigt werden. Ich denke also, wir sollten ihn wahrscheinlich bauen, und wenn wir es nicht tun, wird es jemand anderes tun. Also denke ich, wir sollten ihn bauen und dafür sorgen, dass er sicher ist. Ich sollte auch sagen, dass die Fertigung in großem Volumen extrem schwierig und unterschätzt ist, und wir sind inzwischen ziemlich gut darin geworden. Das ist auch für diesen humanoiden Roboter wichtig. Zum Beispiel, wie macht man es, dass der humanoide Roboter nicht super teuer wird? Und
Audience
Hallo, danke für die Präsentation. Und meine Frage betrifft die Skalierung von Dojo, insbesondere wie Sie die Rechenknoten in Bezug auf Thermik und Stromversorgung skalieren, denn es gibt nur eine begrenzte Menge an Wärme, die man abführen kann, und nur eine begrenzte Menge an Leistung, die man zum Beispiel zu einem Cluster-Rack bringen kann. Und wie planen Sie, das zu skalieren, und wie planen Sie, das über mehrere Rechenzentren zu skalieren?
Bill (Dojo engineer)
Hallo, ich bin Bill, ich bin einer der Dojo-Ingenieure. Also, von der thermischen und der elektrischen Seite aus betrachtet, haben wir es sehr modular gestaltet. Was Sie also auf dem Compute-Tile gesehen haben, kühlt die gesamte Tile. Sobald wir es anschließen, wird es sowohl auf der Ober- als auch auf der Unterseite flüssigkeitsgekühlt. Es braucht nichts weiter. Und wenn wir also davon sprechen, diese Teile zusammenzustecken, sobald man es an die Stromversorgung anschließt und an die Kühlung anschließt, ist es vollständig mit Strom versorgt und vollständig gekühlt, und das alles auf weniger als einem Kubikfuß. Ja. Tesla verfügt also über sehr viel Erfahrung in der Leistungselektronik und in der Kühlung. Also haben wir die Expertise in der Leistungselektronik aus dem Fahrzeug-Antriebsstrang genommen, sowie die fortschrittliche Kühlung, die wir für die Leistungselektronik und für das Fahrzeug entwickelt haben, und das auf den Supercomputer angewendet. Denn wie Sie betonen, ist das Abführen von Wärme extrem wichtig. Es ist wirklich stark durch die Wärme limitiert. Es ist also immer wieder lustig, dass auf der Rechenebene mit weniger als einem Volt gearbeitet wird, was eine sehr niedrige Spannung ist. Da sind viele Ampere im Spiel. Deshalb gibt es viel Wärme; es ist die Formel I-Quadrat mal R, die einen wirklich in den Hintern beißt.
Audience
Hallo. Meine Frage ist auch wirklich eine Frage der Skalierung. Es scheint also eine natürliche Konsequenz der Nutzung von deutlich schnellerer Trainings-Hardware zu sein, dass man entweder Modelle mit viel mehr Daten trainiert oder viel komplexere Modelle trainiert, die möglicherweise deutlich teurer wären, um zur Inferenzzeit in den Autos ausgeführt zu werden. Ich habe mich also gefragt, ob es einen Plan gibt, Dojo auch für etwas einzusetzen, das man direkt in den selbstfahrenden Autos verwenden würde. Und wenn ja, sehen Sie dort zusätzliche Herausforderungen?
Ich kann das beantworten. Wie Sie sehen konnten, sind Andrejs Modelle also nicht nur für Autos gedacht. Es gibt zum Beispiel Modelle für die automatische Beschriftung, es gibt andere Modelle, die über die Fahrzeuganwendung hinausgehen, aber in den Fahrzeug-Software-Stack einfließen. Also. Dojo wird also auch für all das verwendet, nicht nur für den Teil des Trainings, der die Inferenz im Auto betrifft.
Ja, ich meine, die erste Anwendung von Dojo wird darin bestehen, Videodaten für das Training zu verarbeiten, das dann in der Inferenz-Engine im Auto ausgeführt wird. Aber, und ich denke, das ist ein wichtiger Test, um zu sehen, ob es tatsächlich gut ist, beziehungsweise ob es tatsächlich besser ist als ein GPU-Cluster oder nicht. Aber darüber hinaus ist es im Grunde ein universeller Computer zum Training neuronaler Netze. Aber es ist wirklich darauf optimiert, ein neuronales Netz zu sein. Also, wissen Sie, CPUs und GPUs wurden nicht speziell für das Training neuronaler Netze entwickelt. Es ist uns gelungen, GPUs besonders effizient für das Training neuronaler Netze zu machen. Aber das war nie ihr eigentlicher Entwicklungszweck. Also laufen GPUs im Grunde immer noch im Wesentlichen im Emulationsmodus für das Training neuronaler Netze. Also haben wir uns bei Dojo gesagt: Okay, lass uns das Ganze einfach als ASIC bauen. Bauen wir einfach ein Gerät, das für genau einen Zweck gemacht ist: das Training neuronaler Netze. Und generell wird jedes System, das für einen bestimmten Zweck entwickelt wurde, besser sein als eines, das für allgemeine Zwecke entwickelt wurde.
Audience
Hi, ich habe hier eine Frage. Hallo. Sie beschreiben also zwei getrennte Systeme, eines für die Wahrnehmung und eine Art Planer und Steuerung. Lässt Dojo Sie Netze trainieren, die diese Grenze überschreiten? Und die zweite Frage: Wenn Sie solche Netze trainieren könnten, hätten Sie dann die nötige Rechenleistung an Bord des FSD-Systems, um das unter Ihren strengen Latenzvorgaben auszuführen? Danke.
Ja, ich denke, wir sollten in der Lage sein, beliebige Netze auf Dojo oder auf jeder GPU zu trainieren. Das ist wirklich plattformunabhängig, und ich denke, sobald wir das Ganze end-to-end machen, wird es effizienter sein, als all diese Zwischenzustände zu decodieren. Sie sollten also schneller laufen können, wenn Sie das Ganze end-to-end gestalten. Mit neuronalen Netzen können wir viel vom Decodieren der Zwischenzustände vermeiden und nur die wesentlichen Dinge decodieren, die zum Fahren des Autos nötig sind.
Ja, definitiv end-to-end. Das ist das Leitprinzip hinter einem Großteil der Netzwerkentwicklung. Und mit der Zeit haben die neuronalen Netze im Stack immer mehr Funktionen übernommen. Deshalb wollen wir, dass alles end-to-end trainiert wird, weil wir sehen, dass das am besten funktioniert, aber wir bauen es schrittweise auf. Momentan ist die Schnittstelle dort der Vektorraum, und wir nutzen ihn im Planer. Aber im Grunde hindert uns nichts daran, diese Merkmale zu nehmen und sie letztlich end-to-end feinabzustimmen. Ich denke, das ist definitiv die Richtung, in die es geht.
Und die eigentliche Entdeckung ist, die richtigen Architekturen zu finden, die wir in die Netzwerkblöcke einbauen müssen, um sie für diese Aufgabe geeignet zu machen. Wie bereits beschrieben, können wir räumliche RNNs einsetzen, um beim Wahrnehmungsproblem zu helfen. Und jetzt ist es einfach ein neuronales Netz. Ähnlich müssen wir für die Planung die Suchoptimierung direkt in die Netzwerkarchitektur der Planung einbauen. Und sobald wir das erreicht haben, sollten Sie sehr schnell planen können, ähnlich wie bei Algorithmen in C.
Audience
Okay, ich glaube, ich hatte eine Frage, die seiner sehr ähnlich war. Es scheint, dass es viele neuronale Netze für Computer Vision gibt, aber eine eher traditionelle Planung. Sie hatten modellprädiktive Regelung und die sehr schnelle Lösung konvexer Optimierungsprobleme. Und ich frage mich, ob es eine Rechenarchitektur gibt, die besser für konvexe Optimierung oder für die sehr schnelle Lösung der modellprädiktiven Regelung geeignet ist.
Ja, absolut. Wenn man, wie ich vorher sagte, diese Architekturen integrieren will, die zum Beispiel modellprädiktive Regelung durchführen, kann man einfach einige dieser Blöcke durch neuronale Netze ersetzen, oder, wenn wir die Physik dahinter kennen, physikbasierte Modelle als Teil der neuronalen Netze für unsere Trajektorie selbst verwenden. Wir werden also auf ein hybrides System zusteuern, bei dem Blöcke neuronaler Netze zusammen mit physikbasierten Blöcken platziert werden, und später noch mehr neuronale Netze. Es wird also ein hybrider Stack sein: Was wir gut können, bauen wir explizit ein, und wo die Netze besser abschneiden, nutzen wir die Netze, um das zu optimieren. Man baut also einen End-to-End-Stack mit dieser eingebauten Architektur.
Ich denke tatsächlich, solange man neuronale Netze für die Rundumvideo-Analyse hat, um zu verstehen, was passiert, und man dieses Rundumvideo in einen Vektorraum umwandeln kann, hat man im Grunde ein Videospiel. Und wenn, wissen Sie, wenn Sie. Es ist wie in Grand Theft Auto oder so, man kann die Autos herumfahren und die Fußgänger herumlaufen lassen, ohne dass es zu Kollisionen kommt. Also, man kann es tun. Man braucht nicht unbedingt ein neuronales Netz für Steuerung und Planung, aber letztlich ist es wahrscheinlich besser. Also. Aber ich glaube, man kann wahrscheinlich – tatsächlich bin ich sicher, dass man dahin kommen kann – viel sicherer als ein Mensch zu sein, mit Steuerung und Planung vor allem in C, kombiniert mit Wahrnehmung, Vision und neuronalen Netzen.
Audience
Hallo, meine Frage ist: Wir haben gesehen, dass andere Unternehmen zum Beispiel Reinforcement Learning und maschinelles Lernen einsetzen, um den Energieverbrauch in Rechenzentren und alle möglichen anderen internen Prozesse zu optimieren. Meine Frage ist: Setzt Tesla maschinelles Lernen in der Fertigungsgestaltung oder in anderen Engineering-Prozessen ein?
Ich rate vom Einsatz von maschinellem Lernen ab, weil es wirklich schwierig ist. Wenn Sie nicht wirklich gezwungen sind, maschinelles Lernen einzusetzen, tun Sie es nicht. Es ist normalerweise ein Warnsignal, wenn jemand sagt: Wir wollen maschinelles Lernen einsetzen, um diese Aufgabe zu lösen. Dann denke ich mir: Das klingt nach Blödsinn. Also braucht man es in 99,9 % der Fälle gar nicht. Also ja, man greift quasi nur dann zum maschinellen Lernen, wenn es wirklich nötig ist, aber ich fand es nie besonders bequem oder einfach umzusetzen. Es ist etwas extrem Schwieriges. Das könnte sich ändern, wenn man einen humanoiden Roboter hat, der, Sie wissen schon, normale Anweisungen verstehen kann. Aber ja, generell minimieren wir den Einsatz von maschinellem Lernen in der Fabrik.
Audience
Hallo. Nach Ihren Videos aus dem Simulator sah es nach einer Kombination aus grafischen und neuronalen Ansätzen aus. Mich interessiert, welche zugrunde liegenden Techniken für Ihren Simulator verwendet werden, insbesondere für das neuronale Rendering.
Tesla engineer
Falls Sie das teilen können. Ja, also an der Basis des Stacks machen wir Folgendes. Das sind einfach klassische Spieltechniken, Echtzeit-Rasterung, ähnlich dem, was man zum Beispiel aus GTA kennt. Darauf aufbauend machen wir Echtzeit-Raytracing. Und diese Ergebnisse waren wirklich ganz frisch. Ich meine, wir haben da unten dieses kleine Sternchen, das zeigt, dass das von gestern Abend war. Wir wagen uns in den Bereich des neuronalen Renderings vor. Wir probieren eine ganze Reihe verschiedener Dinge aus. Wir wollen an den Punkt kommen, an dem das neuronale Rendering nur noch das Sahnehäubchen ist. Das treibt es so weit, dass die Modelle niemals auf unserem Simulator überanpassen können. Momentan machen wir Dinge, die der Photorealismus-Verbesserung ähneln. Es gibt dazu eine aktuelle Publikation mit dem Titel „Enhancing Photorealism Enhancement“. Aber wir können viel mehr erreichen, als sie in diesem Paper konnten, weil wir viel mehr gelabelte Daten, viel mehr Rechenleistung und auch viel mehr. Wir haben viel mehr Kontrolle über die Umgebungen, und wir haben auch viele Leute, die uns helfen können, das in Echtzeit laufen zu lassen. Aber wir werden alles versuchen, um dahin zu kommen, dass wir, falls nötig, alles allein mit dem Simulator trainieren könnten — was aber nie nötig sein wird, weil wir so viele Daten aus der realen Welt haben, wie sie sonst niemand hat. Es geht nur darum, die kleinen Lücken in der realen Welt zu schließen.
Ja, also, der Simulator ist sehr hilfreich bei diesen seltenen Fällen, wie zum Beispiel der Kollisionsvermeidung unmittelbar vor einem Unfall. Und ironischerweise: Je besser unsere Autos darin werden, Unfälle zu vermeiden, desto weniger Unfälle gibt es. Dadurch wird unser Trainingsdatensatz klein. Also müssen wir sie in der Simulation crashen lassen. Es ist also so: Okay, minimiere das potenzielle Verletzungsrisiko für Fußgänger und die Insassen im Auto. Sie haben fünf Meter, Sie fahren mit, sagen wir, 20 Metern pro Sekunde. Welche Maßnahmen würden die Verletzungswahrscheinlichkeit minimieren? Das können wir in manchen laufen lassen. Autos, die auf der Autobahn in die falsche Richtung fahren. So etwas kommt gelegentlich vor, aber nicht allzu oft.
Audience
Im Kontext Ihres humanoiden Roboters frage ich mich, ob Sie sich bereits für bestimmte Anwendungsfälle entschieden haben, mit denen Sie starten wollen, und was die großen Herausforderungen sind, um das Ganze tragfähig zu machen.
Also, ich denke, beim Humanoiden, beim Tesla Bot Optimus, wird es im Wesentlichen damit beginnen, sich um Arbeiten zu kümmern, die langweilig, repetitiv und gefährlich sind. Im Grunde: Welche Arbeit würden die Leute am wenigsten gerne tun?
Audience
Hallo. Also, eine kurze Frage zu Ihren Simulationen. Sie sind aktuell offensichtlich nicht perfekt – verwenden Sie also irgendeine Art von Domain-Adaptation-Technik, um die Lücke zwischen Ihren simulierten Daten und Ihren tatsächlichen Daten aus der realen Welt zu schließen? Denn ich vermute, es ist ziemlich riskant, Modelle einzusetzen, die ausschließlich auf simulierten Daten trainiert wurden. Also vielleicht eine Art expliziter Domain-Adaptation oder so etwas. Passiert so etwas irgendwo in Ihrer Pipeline?
Tesla engineer
Also momentan produzieren wir die Videos direkt aus dem Simulator. Die vollständigen Clips mit Kinematik und allem, und dann trainieren wir sofort damit. Aber das ist nicht der gesamte Datensatz. Es ist nur ein kleines, gezieltes Segment, und wir evaluieren ausschließlich anhand von realen Videos. Wir achten sehr genau darauf, dass wir nicht überanpassen. Und wenn wir anfangen müssen, ausgefeiltere Dinge zu tun, werden wir das tun. Aber momentan haben wir kein Problem mit Überanpassung an den Simulator. Das wird passieren, wenn wir die Datenmenge weiter hochskalieren, und genau da hoffen wir, das neuronale Rendering einzusetzen, um diese Lücke zu schließen und das Problem noch weiter hinauszuschieben. Wir haben schon Dinge gemacht, bei denen wir dieselben Netze wie im Auto verwenden, sie aber neu trainieren, um Simulation von Realität zu unterscheiden und so unsere Art-Entscheidungen zu steuern. Und das hat tatsächlich auch geholfen, einige dieser Probleme zu verhindern.
Ja. Nur um zu betonen: Der Datensatz besteht überwältigend aus echtem Videomaterial der Autos auf der tatsächlichen Straße. Nichts ist seltsamer oder hat mehr Grenzfälle als die Realität. Da draußen wird es wirklich seltsam. Aber wenn wir dann zum Beispiel ein paar Beispiele für etwas sehr Ungewöhnliches finden und einige sehr seltsame Bilder gesehen haben, wollen wir, um das System effektiv zu trainieren, Simulationen erstellen – sagen wir 1.000 Simulationen – die Varianten dieser kuriosen Sache sind, die wir gesehen haben, um wichtige Lücken zu schließen und das System zu verbessern. Und eigentlich geht es bei alldem im Laufe der Zeit nur darum, die Wahrscheinlichkeit eines Unfalls oder einer Verletzung zu senken. Und der „Marsch der Neunen“, also: Wie erreicht man 99,99999999 % Sicherheit? Wissen Sie, und das. Ja, jede zusätzliche Neun bedeutet eine um eine Größenordnung höhere Schwierigkeit.
Audience
Vielen Dank für die Präsentation. Mich hat speziell der Tesla Bot interessiert. Ich frage mich, ob es bestimmte Anwendungen gibt, für die sich die humanoide Form Ihrer Meinung nach besonders eignet. Und als zweiter Punkt: Wurde wegen seiner menschlichen Form überhaupt ein emotionaler Aspekt oder eine Art Begleiter-Komponente in der Produkt-Roadmap in Betracht gezogen?
Wir hoffen sehr, dass das nicht in einem dystopischen Science-Fiction-Film auftaucht. Aber wissen Sie, im Moment denken wir eigentlich nur: Vielleicht kann dieser Roboter einfach. Wir versuchen, wir versuchen, so wörtlich wie möglich zu bleiben. Kann er langweilige, gefährliche, repetitive Arbeiten übernehmen, die die Leute nicht machen wollen? Und wissen Sie, sobald er das kann, kann er vielleicht auch andere Dinge tun. Aber das ist es, das ist das, was wirklich großartig wäre zu haben. Also könnte er auch Ihr Kumpel sein. Ich meine, kaufen Sie einen und machen Sie ihn zu Ihrem Freund, und, und was auch immer sonst. Ich bin sicher, dass sich die Leute sehr kreative Anwendungen ausdenken werden.
Audience
Also. Zunächst einmal, danke für diese wirklich unglaubliche Präsentation. Meine Frage betrifft die KI-Seite. Eine Sache, die wir beobachtet haben, ist, dass bei einigen dieser Sprachmodell-KIs das Skalieren einen unglaublichen Einfluss auf ihre Fähigkeiten und das, was sie leisten können, hatte. Deshalb frage ich mich, ob Sie ähnliche Skalierungseffekte bei Ihren neuronalen Netzen und Ihren Anwendungen beobachten. Auf jeden Fall. Ein größeres Netz, das sehen wir typischerweise, funktioniert besser, vorausgesetzt man hat auch die Daten, um es entsprechend zu trainieren. Und das sehen wir definitiv auch selbst im Auto. Wir müssen gewisse Latenzaspekte beachten. Und deshalb müssen wir dort kreativ werden, um tatsächlich viel, viel größere Netze einsetzen zu können. Aber wie schon erwähnt, trainieren wir neuronale Netze nicht nur für das, was ins Auto kommt. Wir haben diese Auto-Labeling-Pipelines, die Modelle beliebiger Größe nutzen können. Tatsächlich trainieren wir eine Reihe von Modellen, die nicht einsatzfähig im Auto sind, die deutlich größer sind und viel besser funktionieren, weil wir eine viel höhere Genauigkeit für das Auto-Labeling wollen. Und davon haben wir eine ganze Menge gemacht. Und da sehen wir diesen Trend ganz klar.
Ja, das Auto-Labeling ist ein außerordentlich wichtiger Teil dieser ganzen Angelegenheit. Ohne das Auto-Labeling könnten wir das Problem des autonomen Fahrens, glaube ich, nicht lösen.
Es ist eine Art lustige Form der Distillation, bei der man diese sehr massiven Modelle sowie die Struktur des Problems nutzt, um diese Rekonstruktion durchzuführen, und das dann in neuronale Netze destilliert, die man im Auto einsetzt. Aber im Grunde haben wir viele neuronale Netze und viele Aufgaben, die nie dafür vorgesehen sind, ins Auto zu kommen.
Und außerdem bekommt man mit der Zeit neue Informations-Frames. Man will also wirklich sicherstellen, dass die Rechenleistung über alle Informationen verteilt wird, anstatt nur einen einzigen Frame zu nehmen und sich sagen wir 200 Millisekunden lang nur darauf zu konzentrieren. Tatsächlich kommen ja immer neuere Frames herein. Man will also die gesamte Information nutzen, und nicht nur dieses eine Bild.
Ich glaube, eines der Dinge, die wir feststellen, ist, dass die Vorhersagefähigkeit des Autos unheimlich gut ist. Sie wird wirklich besser als ein Mensch im Vorhersagen, wie Sie sagen – wie zum Beispiel was? Vorhersagen, wie diese Straße aussehen wird, wenn sie außer Sichtweite ist. Zum Beispiel sagt sie gleich nach der Kurve die Straße mit sehr hoher Genauigkeit voraus, und sie sagt auch Fußgänger oder Radfahrer voraus, die irgendwo verdeckt sind, wo sie nur eine kleine Ecke des Fahrrads sieht und ein bisschen durch die Fenster des Busses. Seine Fähigkeit, Dinge vorherzusagen, wird viel besser sein als die des Menschen, wirklich weit, weit darüber hinaus. Richtig?
Ja. Wir sehen das oft: Da ist etwas, das nicht sichtbar ist, aber das neuronale Netz erfindet Dinge, die sich tatsächlich als sehr sinnvoll erweisen. Manchmal ist es so unheimlich gut, dass man sich fragt: Das war doch gar nicht im Trainingsdatensatz. Und tatsächlich, im Grenzfall kann man sich vorstellen, dass das neuronale Netz genug Parameter hat, um potenziell die ganze Erde zu memorieren. Im Grenzfall könnte es Ihnen also tatsächlich die richtige Antwort liefern, und das ist ein bisschen wie eine HD-Karte, die direkt in die Gewichte des neuronalen Netzes eingebacken ist. Ja. Ich habe eine Frage zum Design des Tesla-Bots. Genauer gesagt: Wie wichtig ist es, diese humanoide Form beizubehalten? Hände mit fünf Fingern zu bauen, die auch die Gewichtsgrenzen einhalten, könnte ziemlich herausfordernd sein. Man müsste vielleicht ein kabelgetriebenes System verwenden, und das bringt dann auch wieder alle möglichen Probleme mit sich.
Ich meine, das wird erst mal die Version eins des Bots sein. Wir werden sehen. Er muss also in der Lage sein, Dinge zu tun, die Menschen tun, und ein allgemeiner humanoider Roboter sein. Man könnte ihm theoretisch auch nur zwei Finger und einen Daumen geben, oder so etwas Ähnliches. Vorerst geben wir ihm fünf Finger und schauen, ob das gut funktioniert, okay? Das wird wahrscheinlich funktionieren. Er muss keine unglaubliche Greifkraft haben, aber er muss mit Werkzeugen umgehen können, also zum Beispiel eine Tasche tragen, so etwas.
Audience
Okay, vielen Dank für die Präsentation. Ein ehemaliger Professor von mir hat mir erzählt, dass das, was ihm an seiner Tesla überhaupt nicht gefiel, die Autopilot-Oberfläche war, die nicht wirklich Vertrauen in das System vermittelte. Besonders wenn sich Objekte drehen und die Klassifizierungen flackern. Ich habe mich gefragt: Selbst wenn man ein gutes Selbstfahrsystem hat, wie arbeiten Sie daran, Tesla-Besitzer, andere Verkehrsteilnehmer und die breite Öffentlichkeit davon zu überzeugen, dass Ihr Selbstfahrsystem sicher und zuverlässig ist?
Nun, ich denke, das sind die Autos selbst, die das zeigen. Vor einiger Zeit haben sich die Autos in der Anzeige noch gedreht, das passiert jetzt nicht mehr. Wenn Sie die FSD-Beta-Videos gesehen haben, sind die schon ziemlich solide, und sie werden noch solider werden.
Ja. Je mehr Daten man hinzufügt und diese Multikamera-Netze trainiert. Die sind eigentlich schon ziemlich gut. Das ist erst ein paar Monate alt und wird ständig weiter verbessert, es ist kein fertiges Produkt, und man sieht klar, dass das zu einem nahezu perfekten Bereich werden wird. Denn warum nicht – all die Information steckt bereits in den Videos. Das sollte gute Ergebnisse liefern, wenn man viele Daten und gute Architekturen hat. Und das ist nur ein Zwischenpunkt im zeitlichen Verlauf.
Ich meine, es entwickelt sich eindeutig zu etwas, das weit besser ist als der Mensch, ohne Zweifel.
Audience
Ich bin dran. Oh, hallo. Hier. Ich habe mich gefragt, ob Sie etwas über die kurz- bis mittelfristige Wirtschaftlichkeit des Bots sagen könnten. Ich glaube, ich verstehe die langfristige Vision, körperliche Arbeit zu ersetzen, aber ich denke auch, dass repetitive, gefährliche und langweilige Aufgaben in der Regel nicht besonders gut bezahlt werden. Und deshalb sehe ich einfach nicht, wie man das reproduzieren könnte. Wissen Sie, so wie man mit einem Supersportwagen anfängt und
dann in ein günstigeres Marktsegment vorstößt. Wie macht man das bei einem Roboter? Humanoid? Nun, ich denke, das werden wir einfach sehen müssen.
Audience
Hallo. Hi. Ich war neugierig, wie die Auto-KI die Sicherheit der Fahrzeuginsassen gegenüber der Sicherheit der Fußgänger priorisiert und welcher Gedankenprozess dahintersteckt, um
zu entscheiden, wie man das in die KI einbaut. Nun, ich meine, wir... Was man verstehen muss, ist, dass sich aus Sicht des Computers alles langsam bewegt. Denken Sie daran: Für einen Menschen bewegen sich die Dinge schnell. Für den Computer bewegen sie sich nicht schnell. Ich denke also, das ist in Wirklichkeit eine Art falsche Dichotomie. Nicht dass es nie passieren wird, aber es wird sehr selten sein. Wenn Sie es sich umgekehrt vorstellen, also zum Beispiel Rendering mit vollständigem Raytracing, durch neuronale Netze verbesserte Grafik bei etwas wie Cyberpunk oder irgendeinem fortschrittlichen Videospiel, mit 60 Bildern pro Sekunde, perfekt gerendert. Wie lange würde es einen Menschen brauchen, nur ein einziges Bild zu rendern, und das ohne jeden Fehler? Das geht nicht. Ich meine, es würde etwa einen Monat dauern, nur ein einziges von 60 Bildern pro Sekunde in einem Videospiel zu rendern. Es ist... Computer sind schnell und Menschen sind langsam. Ich meine, zum Beispiel. Bei den Raketen zum Beispiel kann man die Rakete nicht manuell in die Umlaufbahn steuern. Wir haben tatsächlich einen Joystick angeschlossen, um zu sehen, ob jemand die Rakete in die Umlaufbahn steuern könnte. Aber man muss mit etwa 6, 7 Hertz reagieren. Das können Menschen nicht. Nicht einmal annähernd. Das ist eigentlich recht niedrig. Wir sprechen eher von etwas wie 30 Hz, auf das wir abzielen.
Audience
Hi. Bei Hardware 3 gab es viele Spekulationen, dass sie mit größeren Netzen an die Grenzen dessen stößt, was sie leisten kann. Wie viel zusätzlichen Spielraum haben die erweiterten Rechenmodi gebracht, und ab wann würde Hardware 4 nötig sein, falls überhaupt?
Nun, ich bin zuversichtlich, dass Hardware 3, beziehungsweise der Full-Self-Driving-Computer 1, vollständig autonomes Fahren mit einem Sicherheitsniveau erreichen kann, das weit über dem eines Menschen liegt. Wahrscheinlich, ich weiß nicht, mindestens 200 oder 300 % besser als ein Mensch. Dann wird es natürlich in Zukunft eine Hardware 4 geben, beziehungsweise den Full-Self-Driving-Computer 2, den wir wahrscheinlich zusammen mit dem Cybertruck einführen werden, also vielleicht in etwa einem Jahr. Der wird dann wahrscheinlich, na ja, ungefähr viermal leistungsfähiger sein, grob geschätzt. Aber im Grunde geht es nur darum, sagen wir mal zum Beispiel, können wir von 300 % sicherer als ein Mensch auf 1000 % sicherer kommen? Genau wie es Menschen auf der Straße mit sehr unterschiedlichen Fahrfähigkeiten gibt, aber wir lassen sie trotzdem fahren. Man muss nicht der beste Fahrer der Welt sein, um auf der Straße fahren zu dürfen. So wie wir das sehen. Also, ja.
Audience
Machen Sie sich überhaupt Sorgen, dass Leute, da das Auto keine Tiefensensoren hat, adversariale Angriffe versuchen könnten, zum Beispiel ausgedruckte Fotos oder Ähnliches, um das RGB-Neuronalnetz zu täuschen?
Ja. Wie zum Beispiel? So einen Wile-E.-Coyote-Trick, wissen Sie, so als würde man einen Tunnel auf eine Wand malen. Und dann, ups. Davon haben wir eigentlich nicht viel gesehen. Ich meine, das stimmt schon. Zum Beispiel, wenn Sie gerade jetzt, sehr wahrscheinlich, ein T-Shirt mit einem Stoppschild drauf hätten – ich habe tatsächlich so ein T-Shirt mit einem Stoppschild – und Sie es dem Auto kurz zeigen würden. Dann wird es, dann wird es anhalten. Das habe ich bewiesen. Aber sobald wir solche adversarialen Angriffe beobachten, können wir die Autos natürlich darauf trainieren zu erkennen, dass das eigentlich nur eine Person mit einem T-Shirt mit Stoppschild ist, also wahrscheinlich kein echtes Stoppschild.
Audience
Hallo, meine Frage betrifft die Vorhersage und die Planung. Mich würde interessieren, wie Sie Unsicherheit in Ihre Planungsalgorithmen einbauen. Nehmen Sie einfach an – Sie haben erwähnt, dass Sie den Autopilot für alle anderen Autos auf der Straße mitlaufen lassen. Gehen Sie davon aus, dass sie sich alle an diese Regeln halten, oder berücksichtigen Sie die Möglichkeit, dass es sich zum Beispiel um schlechte Fahrer handeln könnte?
Ja, wir berücksichtigen multimodale Zukunftsszenarien. Es ist nicht so, dass wir uns nur auf eines festlegen, das wir berücksichtigen. Diese Person kann tatsächlich viele verschiedene Dinge tun, und wir nutzen ihre tatsächliche Physik und Kinematik, um sicherzustellen, dass sie nichts tut, was uns in die Quere kommen würde, bevor wir handeln. Wenn also Unsicherheit besteht, verhalten wir uns konservativ und geben ihnen Vorfahrt. Natürlich gibt es dabei eine Grenze, denn wenn man zu konservativ ist, ist das wahrscheinlich nicht mehr praktikabel. Irgendwann müssen wir uns also durchsetzen, und selbst dann stellen wir sicher, dass die andere Person uns Vorfahrt gewähren und sinnvoll handeln kann.
Ich sollte erwähnen, dass wir, bevor wir etwas in die Flotte einführen, es im Schattenmodus laufen lassen. Und dann sehen wir, was, zum Beispiel, dieses neuronale Netz in dieser bestimmten Situation getan hätte. Und dann trainieren die Fahrer es praktisch selbst. Das Netz trainieren. Wenn also das neuronale Netz die Kontrolle gehabt hätte, sagen wir, es wäre nach rechts ausgewichen. Nach rechts. Aber die Person ist tatsächlich nach links gegangen, und dann denkt man, oh, da gab es einen Unterschied. Warum gab es diesen Unterschied? Und zweitens trainieren im Grunde alle menschlichen Fahrer das neuronale Netz darin, was die richtige Handlung ist. Vorausgesetzt, es endet nicht in einem Unfall, dann zählt das natürlich nicht.
Und zweitens haben wir verschiedene Unsicherheitsschätzungen, wie zum Beispiel Flackern. Und wenn wir das beobachten, sagen wir uns eigentlich, dass wir etwas nicht erkennen können. Wir verlangsamen das Auto dann tatsächlich, um sicher zu bleiben und mehr Informationen zu bekommen, bevor wir handeln.
Wir wollen nicht unbesonnen sein und uns einfach in etwas hineinbegeben, das wir nicht kennen. Wir gehen nur dorthin, wo wir uns bereits auskennen.
Ja, ja. Im Idealfall sollte das Auto so sein: je weniger es weiß, desto langsamer fährt es.
Ja. Ab einem gewissen Punkt stimmt das nicht mehr, aber momentan schon.
Ja. Die Geschwindigkeit sollte proportional zur Sicherheit sein.
Audience
Danke für die Präsentation. Mich würde interessieren – ich schätze, dass sich das FSD verbessert, aber wenn Sie nur eine Komponente des heute vorgestellten KI-Stacks verbessern könnten, sei es Simulation, Datensammlung, Planung und Steuerung usw. Welche davon hätte Ihrer Meinung nach den größten Einfluss auf die Leistung des vollständig autonomen Fahrsystems?
Es ist wirklich die Fläche unter der Kurve dieser vielen Punkte, und wenn man irgendetwas verbessert, sollte das die Fläche vergrößern.
Kurzfristig bräuchten wir eigentlich alle Netze im Surround-Video-Modus, und wir haben noch etwas Altlast davor. Das ist wirklich sehr kurzfristig. Wir beheben das natürlich schnell, aber es gibt noch Netze, die kein Surround-Video nutzen, und idealerweise sollten sie das alle tun.
Ja, ich glaube, es gibt noch viele Puzzleteile, die für den Erfolg zusammenpassen müssen. Wir brauchen einfach mehr starke Leute, die uns helfen, es zum Funktionieren zu bringen.
Ja, das ist tatsächlich der eigentliche Flaschenhals.
Das ist, würde ich sagen, der eigentliche Flaschenhals. Und das ist wirklich einer der Gründe, warum wir diese Veranstaltung ausrichten.
Genau. Gut gesagt, Andrej, es gibt einfach eine enorme Menge an Arbeit zu tun, um. Es zum Funktionieren zu bringen. Deshalb brauchen wir talentierte Leute, die sich uns anschließen, um das Problem zu lösen.
Audience
Danke für die großartige Präsentation. Viele meiner Fragen wurden bereits beantwortet. Aber ein Punkt ist: Stellen Sie sich vor, Sie hätten jetzt eine große Menge an Daten, selbst unnötige. Wie berücksichtigen Sie, dass es in neuronalen Netzen ein Vergessensproblem gibt? Wie beziehen Sie diese Aspekte mit ein? Und noch eine weitere: Erwägen Sie Online-Lernen oder kontinuierliches Lernen, sodass möglicherweise jeder Fahrer sein eigenes
Version der Selbstfahr-Software? Ich glaube, ich kenne die Literatur, auf die Sie sich beziehen. Das sind nicht einige der Probleme, die wir gesehen haben. Und wir haben nicht allzu viel kontinuierliches Lernen betrieben. Wir trainieren das System einmal, feinjustieren es ein paar Mal, und das kommt dann so in etwa ins Auto. Wir brauchen etwas Stabiles, das wir ausführlich evaluieren können, und wenn wir dann denken, dass es gut ist, kommt es in die Autos. Wir betreiben also nicht zu viel Lernen vor Ort oder kontinuierliches Lernen und haben daher nicht das Problem des Vergessens.
Aber es wird Einstellungen geben, bei denen Sie sagen können, ob Sie eher ein vorsichtiger Fahrer sind oder ob Sie schnell oder langsam fahren möchten. Wissen Sie, das ist so, ich bin spät für... Komm schon, ich bin spät für den Flughafen. Könnten Sie schneller fahren, wissen Sie, im Grunde die Art von Anweisungen, die Sie Ihrem Uber-Fahrer geben würden. Das ist so: Ich bin spät für meinen Flug. Bitte beeilen Sie sich, oder nehmen Sie es locker, oder was auch immer Ihr Stil ist. Lassen Sie uns noch ein paar Fragen nehmen. Und danach machen wir für heute Schluss. In Ordnung.
Audience
Da unsere Modelle also immer leistungsfähiger geworden sind und Sie diese Modelle, denke ich, in der realen Welt einsetzen, besteht meiner Meinung nach die Möglichkeit, dass die KI zunehmend nicht mehr mit dem übereinstimmt, was Menschen sich wünschen. Ist das also etwas, worüber ihr euch Sorgen macht, wenn ihr immer mehr Roboter einsetzt, oder ist es eher so: Wir lösen das Problem, wenn wir dort angelangt sind.
Ja, ich denke, wir sollten uns schon jetzt Sorgen um KI machen. Was wir hier versuchen zu tun, ist, würde ich sagen, eine enge, spezialisierte KI. Ziemlich eng begrenzt. Also einfach dafür sorgen, dass das Auto besser fährt als ein Mensch, und dass der humanoide Roboter grundlegende Aufgaben erledigen kann, wissen Sie. Also an dem Punkt, an dem man anfängt, übermenschliche Intelligenz zu erreichen, keine Ahnung, dann ist alles offen. Aber wissen Sie, und das wird wahrscheinlich passieren. Aber was wir hier bei Tesla versuchen, ist, eine nützliche KI zu schaffen, die die Menschen lieben und die unzweifelhaft gut ist. Das ist unser... wir werden versuchen, genau darauf hinzuarbeiten. Vielleicht noch eine Frage.
Audience
Hallo, meine Frage betrifft den Kamerasensor. Am Anfang des Vortrags haben Sie erwähnt, ein synthetisches Tier zu bauen. Und wenn man darüber nachdenkt, ist eine Kamera eine sehr schlechte Annäherung an das menschliche Auge. Und ein menschliches Auge macht viel mehr, als nur eine Abfolge von Einzelbildern aufzunehmen. Haben Sie sich mit den heutigen Kameras beschäftigt, wie zum Beispiel Event-Kameras? Haben Sie sich damit beschäftigt? Oder denken Sie über ein flexibleres Kameradesign nach, oder zum Beispiel darüber, Ihre eigene Kamera zu bauen?
Nun, mit Hardware 4 werden wir eine Kamera der nächsten Generation haben, aber ich muss sagen, dass wir bei den aktuellen Kameras die Grenze noch nicht erreicht haben. Also. Und ich bin zuversichtlich, dass wir mit den aktuellen Kameras und der aktuellen Rechenhardware vollständig autonomes Fahren mit einer viel höheren Sicherheit als Menschen erreichen können. Aber wissen Sie, es wäre besser, 1000 % besser zu sein als nur 300 % besser. Wir werden also auf allen Ebenen eine kontinuierliche Weiterentwicklung sehen, um dieses Ziel zu verfolgen. Und ich denke, in Zukunft werden die Leute zurückblicken und sagen: Wow, ich kann nicht glauben, dass wir diese Autos selbst fahren mussten. Wissen Sie, selbstfahrende Autos werden einfach normal sein, so wie selbstfahrende Aufzüge. Wissen Sie, Aufzüge hatten früher Aufzugführer, da war jemand mit so einem großen, großen Relaisschalter, der den Aufzug bediente, und von Zeit zu Zeit wurden sie müde oder machten einen Fehler, und klar, dann wurde schon mal jemand in zwei Teile geschnitten. Also haben wir jetzt, wissen Sie, die Aufzüge automatisiert, und man geht einfach hinein, drückt den Knopf, man kann in einem hundertstöckigen Wolkenkratzer sein und sich eigentlich keine Sorgen machen, man geht einfach hinein, drückt einen Knopf, und der Aufzug bringt einen dorthin, wo man hin will. Aber früher wurden alle Aufzüge manuell bedient, und es wird genauso bei Autos sein, alle Autos werden automatisch sein und natürlich auch elektrisch. Es wird also immer noch ein paar Benzinautos und ein paar manuell gefahrene Autos geben, genauso wie es immer noch ein paar Pferde gibt. Also. In Ordnung, vielen Dank, dass Sie alle gekommen sind, ich hoffe, Ihnen hat die Präsentation gefallen, und danke für die großartigen Fragen. Sa.