Tesla AI Day 19 août 2021 Présentation du Tesla AI Day où Musk et les ingénieurs dévoilent le superordinateur Dojo, les réseaux de neurones du FSD et présentent le Tesla Bot (Optimus).
Présentation du Tesla AI Day où Musk et les ingénieurs dévoilent le superordinateur Dojo, les réseaux de neurones du FSD et présentent le Tesla Bot (Optimus).
Transcription Bonjour à tous. Désolé, désolé pour le retard. Merci d'être venus, et désolé, j'ai eu quelques problèmes techniques. Vraiment. De l'IA pour ça ? Donc ce que, ce que nous voulons montrer aujourd'hui, c'est que Tesla est bien plus qu'une entreprise de voitures électriques, que nous avons une activité d'IA approfondie au niveau du matériel, au niveau de l'inférence, au niveau de l'entraînement, et qu'en fait, nous sommes, je pense, sans doute les leaders de l'IA appliquée au monde réel. Et pour ceux d'entre vous qui ont vu la bêta de la conduite entièrement autonome, vous pouvez apprécier la vitesse à laquelle le réseau de neurones de Tesla apprend à conduire, et c'est une application particulière de l'IA. Mais je pense qu'il y a, qu'il y a davantage, qu'il y a d'autres applications à venir qui prendront tout leur sens, et nous en parlerons plus tard dans la présentation. Mais oui, nous voulons essentiellement encourager toute personne intéressée par la résolution de problèmes d'IA dans le monde réel, qu'il s'agisse de matériel ou de logiciel, à rejoindre Tesla ou à envisager de rejoindre Tesla. Alors voyons, nous allons commencer avec Andre. Ouais,
Ok. Salut à tous. Est-ce que mon micro est allumé ? Je l'espère.
Si ce n'est pas le cas, je vous donne le mien.
On n'a pas l'impression. Ok.
Super. Ok. Salut à tous. Bienvenue. Je m'appelle Andre et je, je dirige l'équipe vision ici chez Tesla Autopilot, et je suis incroyablement heureux d'être ici pour ouvrir cette section, en vous proposant une plongée technique approfondie dans la pile logicielle de l'Autopilot et en vous montrant tous les composants sous le capot qui permettent à une voiture de conduire toute seule. Nous allons donc commencer ici par la composante vision. Dans cette composante vision, ce que nous essayons de faire, c'est de concevoir un réseau de neurones qui traite l'information brute, qui dans notre cas provient des huit caméras positionnées autour du véhicule : elles nous envoient des images, et nous devons les traiter en temps réel pour obtenir ce que nous appelons l'espace vectoriel. Et il s'agit d'une représentation tridimensionnelle de tout ce dont on a besoin pour conduire. Ce sont donc les positions tridimensionnelles des lignes, des bords, des trottoirs, des panneaux de signalisation, des feux de circulation, des voitures, leurs positions, orientations, profondeurs, vitesses, et ainsi de suite. Donc ici, je vous montre une vidéo de... En fait, attendez. Désolé. Donc ici, je vous montre la vidéo des entrées brutes qui arrivent dans la pile, puis le réseau de neurones les traite pour obtenir l'espace vectoriel. Et vous voyez des parties de cet espace vectoriel restituées sur le tableau de bord de la voiture. Ce que je trouve assez fascinant, c'est que nous construisons en fait un animal synthétique en partant de zéro. On peut donc considérer la voiture comme un animal. Elle se déplace, elle perçoit son environnement et, vous savez, elle agit de façon autonome et intelligente. Et nous construisons tous les composants à partir de zéro, en interne. Nous construisons donc, bien sûr, tous les composants mécaniques du corps, le système nerveux, c'est-à-dire tous les composants électriques, et, ce qui nous intéresse ici, le cerveau de l'Autopilot, et plus particulièrement, pour cette section, le cortex visuel synthétique. Or, le cortex visuel biologique possède en réalité une structure assez complexe et plusieurs aires qui organisent le flux d'informations de ce cerveau. Et en particulier, dans nos cortex visuels, dans les vôtres, la lumière frappe d'abord la rétine, passe par le corps genouillé latéral (LGN), jusqu'à l'arrière de votre cortex visuel, traverse les aires V1, V2, V4, le cortex temporal inférieur (IT), les voies ventrale et dorsale. Et l'information est organisée selon une certaine disposition. Et donc, lorsque nous concevons le cortex visuel de la voiture, nous voulons aussi concevoir l'architecture du réseau de neurones en fonction de la façon dont l'information circule dans le système. Le traitement commence donc au tout début, lorsque la lumière frappe notre rétine artificielle. Et nous allons traiter cette information avec des réseaux de neurones. Je vais organiser cette section à peu près de façon chronologique, en commençant par certains des réseaux de neurones et à quoi ils ressemblaient il y a environ quatre ans, quand j'ai rejoint l'équipe, puis comment ils ont évolué au fil du temps. Il y a environ quatre ans, la voiture roulait surtout en ligne droite, dans une seule voie, sur l'autoroute. Elle devait donc rester dans sa voie et garder une certaine distance par rapport à la voiture devant nous. Et à cette époque, tout le traitement se faisait uniquement au niveau de l'image individuelle. Donc une seule image devait être analysée par un réseau de neurones pour produire de petits morceaux de l'espace vectoriel, les transformer en petits morceaux de l'espace vectoriel. Ce traitement avait donc la forme suivante. Nous prenons une entrée de 1280 par 960, sous forme d'entiers de 12 bits, transmis à environ 36 hertz. Nous allons maintenant traiter cela avec un réseau de neurones. Nous instancions donc un backbone, un extracteur de caractéristiques. Dans ce cas, nous utilisons des réseaux de neurones résiduels. Nous avons donc un tronc (stem) et un certain nombre de blocs résiduels connectés en série. La classe spécifique de ResNets que nous utilisons, ce sont des RegNets, parce que c'est, en fait, un très... Les RegNets offrent un très bon espace de conception pour les réseaux de neurones, car ils permettent d'arbitrer très efficacement entre latence et précision. Ces RegNets nous fournissent en sortie un certain nombre de caractéristiques à différentes résolutions et différentes échelles. Ainsi, tout en bas de cette hiérarchie de caractéristiques, nous avons des informations à très haute résolution avec un très faible nombre de canaux. Et tout en haut, nous avons une faible résolution spatiale, mais un grand nombre de canaux. En bas, nous avons donc beaucoup de neurones qui examinent vraiment le détail de l'image. Et en haut, nous avons des neurones qui voient la plus grande partie de l'image et, en contraste, disposent de beaucoup de ce contexte de scène. Nous aimons ensuite traiter cela avec des réseaux de pyramides de caractéristiques (feature pyramid networks). Dans notre cas, nous aimons utiliser des BiFPN, qui permettent à plusieurs échelles de communiquer efficacement entre elles et de partager beaucoup d'informations. Par exemple, si vous êtes un neurone tout en bas du réseau et que vous regardez un petit fragment en vous demandant s'il s'agit d'une voiture ou non, il est vraiment utile de savoir, grâce aux couches supérieures, que vous vous trouvez en réalité au point de fuite de cette autoroute. Et cela vous aide à déterminer qu'il s'agit probablement d'une voiture. Après un BiFPN et une fusion des caractéristiques à travers les échelles, nous passons ensuite aux têtes spécifiques à chaque tâche. Par exemple, pour la détection d'objets, nous avons ici un détecteur d'objets en une étape, de type YOLO, où nous initialisons une grille (raster), avec un bit binaire par position indiquant s'il y a une voiture à cet endroit ou non. Et en plus de cela, si c'est le cas, il y a un ensemble d'autres attributs qui pourraient vous intéresser. Par exemple, les coordonnées XY avec le décalage de hauteur, ou n'importe quel autre attribut comme : de quel type de voiture s'agit-il ? Et ainsi de suite. Voilà donc pour la détection en elle-même. Très rapidement, nous avons découvert que nous ne voulions pas seulement détecter des voitures, mais effectuer un grand nombre de tâches. Par exemple, nous voulons faire de la reconnaissance et de la détection des feux de circulation, de la prédiction des voies, et ainsi de suite. Nous avons donc très vite convergé vers ce type d'architecture, avec un backbone commun partagé qui se divise ensuite en plusieurs têtes. Nous appelons donc ces réseaux des HydraNets, et ce sont les têtes de l'hydre. Cette architecture présente un certain nombre d'avantages. Premièrement, grâce au partage des caractéristiques, nous pouvons amortir l'inférence en passe avant dans la voiture au moment de l'exécution. C'est donc très efficace à exécuter, car si nous devions avoir un backbone pour chaque tâche, cela représenterait énormément de backbones dans la voiture. Deuxièmement, cela découple toutes les tâches, ce qui nous permet de travailler individuellement sur chaque tâche de manière isolée. Et par exemple, nous pouvons, nous pouvons mettre à jour n'importe quel jeu de données ou modifier une partie de l'architecture de la tête, et ainsi de suite. Et vous n'avez aucun impact sur les autres tâches. Nous n'avons donc pas besoin de revalider toutes les autres tâches, ce qui peut coûter cher. Et troisièmement, comme il y a ce goulot d'étranglement au niveau des caractéristiques, ce que nous faisons assez souvent, c'est que nous mettons ces caractéristiques en cache sur disque. Et lorsque nous effectuons ces processus de fine-tuning, nous ne faisons le fine-tuning qu'à partir des caractéristiques mises en cache, en ne réajustant que les têtes. Le plus souvent, dans nos processus d'entraînement, nous effectuons de temps en temps un entraînement de bout en bout où tout est entraîné conjointement, puis nous mettons en cache les caractéristiques au niveau multi-échelle, puis nous faisons du fine-tuning à partir de cela pendant un certain temps, puis nous recommençons un entraînement de bout en bout, et ainsi de suite. Voici donc le type de prédictions que nous obtenions, il y a je dirais plusieurs années maintenant, avec l'un de ces HydraNets. Encore une fois, nous traitons des images individuelles.
Nous traitons simplement des images individuelles et nous faisons un grand nombre de prédictions à propos de ces images. Par exemple, vous pouvez voir ici des prédictions pour les panneaux stop, les lignes d'arrêt, les lignes, les bords, les voitures, les feux de circulation, les trottoirs, le fait que la voiture soit garée ou non, ainsi que tous les objets statiques comme les poubelles, les cônes, et ainsi de suite. Et tout cela sort de ce réseau, dans ce cas du réseau Hydra. Tout cela était très bien, mais en travaillant sur la conduite entièrement autonome (FSD), nous avons vite constaté que ce n'était pas suffisant. Les premières failles sont apparues lorsque nous avons commencé à travailler sur Smart Summon. Ici, je vous montre quelques prédictions, uniquement pour la tâche de détection des trottoirs, et je vous les montre maintenant pour chacune des caméras. Nous voulons donc nous frayer un chemin à travers le parking pour trouver la personne qui appelle la voiture. Le problème, c'est qu'on ne peut pas conduire directement sur la base de prédictions dans l'espace image. Il faut en réalité les projeter pour former une sorte d'espace vectoriel autour de vous. Nous avons donc essayé de faire cela en C et développé à l'époque ce que nous appelions le occupancy tracker (traqueur d'occupation). On voit ici que les détections de trottoirs issues des images sont assemblées à travers les différentes scènes de caméra, les frontières entre caméras et dans le temps. Or, il y avait, je dirais, deux problèmes majeurs avec ce dispositif. Premièrement, nous avons très vite découvert que le réglage du occupancy tracker et de tous ses hyperparamètres était extrêmement compliqué. On ne veut pas faire cela explicitement à la main en C. On veut que cela se trouve à l'intérieur d'un réseau de neurones et l'entraîner de bout en bout. Deuxièmement, nous avons très vite découvert que l'espace image n'est pas le bon espace de sortie. On ne veut pas faire de prédictions dans l'espace image. On veut vraiment les faire directement dans l'espace vectoriel. Voici donc une façon d'illustrer le problème. Donc ici, sur la première rangée, je vous montre les prédictions de nos courbes et de nos lignes en rouge et en bleu, et elles ont très belle allure dans l'image. Mais dès qu'on les projette dans l'espace vectoriel, les choses commencent à avoir vraiment mauvaise allure, et on ne pourra pas conduire sur cette base. Vous voyez donc à quel point les prédictions sont plutôt mauvaises dans l'espace vectoriel. Et la raison fondamentale, c'est qu'il faut disposer d'une profondeur extrêmement précise pour chaque pixel afin de pouvoir réellement effectuer cette projection. Et vous pouvez donc imaginer à quel point la barre est haute pour prédire cette profondeur de façon aussi précise, dans chacun de ces minuscules, dans chaque pixel de l'image. Et de plus, s'il existe une zone occultée où vous souhaiteriez faire des prédictions, vous n'en serez pas capable, car il ne s'agit plus là d'un concept de l'espace image. Donc on a très vite réa- L'autre problème avec cela, au passage, concerne aussi la détection d'objets : si vous ne faites des prédictions que par caméra, vous rencontrerez parfois des cas comme celui-ci, où une seule voiture s'étend en réalité sur cinq des huit caméras. Et donc, si vous faites des prédictions individuelles, aucune caméra ne voit la voiture dans son intégralité. Et donc, bien évidemment, vous ne pourrez pas très bien prédire cette voiture dans son ensemble. Et il sera incroyablement difficile de fusionner ces mesures. Nous avons donc cette intuition que ce que nous aimerions faire à la place, c'est prendre toutes les images et les transmettre simultanément à un seul réseau de neurones, pour obtenir directement une sortie dans l'espace vectoriel. Cela se dit très facilement, mais c'est beaucoup plus difficile à réaliser concrètement. Mais en gros, nous voulons concevoir un réseau de neurones de la façon suivante : nous traitons chaque image avec un backbone, puis nous voulons les fusionner d'une manière ou d'une autre, et nous voulons retranscrire les caractéristiques, en passant de caractéristiques dans l'espace image à des caractéristiques directement dans une sorte d'espace vectoriel, avant de passer au décodage de la tête. Or, ce problème lui-même comporte deux difficultés. Premièrement, comment créer concrètement les composants du réseau de neurones qui effectuent cette transformation, en veillant à ce qu'elle soit différentiable pour permettre un entraînement de bout en bout ? Et deuxièmement, si l'on veut que le réseau de neurones fournisse des prédictions dans l'espace vectoriel, il faut des jeux de données basés sur des vecteurs. Le simple fait d'étiqueter des images, et ainsi de suite, ne suffira pas pour y arriver. Il faut des étiquettes dans l'espace vectoriel. Nous parlerons beaucoup plus du deuxième problème plus loin dans cette présentation. Pour l'instant, je veux me concentrer sur l'architecture du réseau de neurones. Je vais donc approfondir le premier problème. Voici donc, en gros, le problème, n'est-ce pas ? Nous essayons d'obtenir cette prédiction en vue aérienne, à la place de prédictions dans l'espace image. Par exemple, concentrons-nous sur ce pixel unique, en jaune, dans l'espace de sortie. Et ce pixel essaie de décider : fais-je partie d'un trottoir ou non ? Par exemple. Et maintenant, d'où devrait venir, dans l'espace image, le support d'une telle prédiction ? Eh bien, nous connaissons à peu près la position des caméras, ainsi que leurs paramètres extrinsèques et intrinsèques, ce qui nous permet de projeter approximativement ce point dans les images des caméras. Et vous savez, l'indice permettant de savoir s'il s'agit ou non d'un trottoir pourrait venir de quelque part ici, dans les images. Le problème, c'est qu'il est vraiment difficile d'obtenir cette projection de façon correcte, car elle dépend de la surface de la route. La surface de la route peut monter ou descendre en pente. Ou alors, il pourrait y avoir d'autres problèmes qui dépendent des données. Par exemple, il pourrait y avoir une occlusion due à une voiture. Donc, si une voiture occulte cette fenêtre de vue, cette partie de l'image, il peut en réalité être préférable de prêter attention à une autre partie de l'image, et non à celle où la projection tombe. Et donc, comme cela dépend des données, il est vraiment difficile d'avoir une transformation fixe pour ce composant. Donc, pour résoudre ce problème, nous utilisons un transformer pour représenter cet espace. Et ce transformer utilise de l'auto-attention multi-têtes, ainsi que des blocs de celle-ci. Dans ce cas, nous pouvons en réalité nous contenter d'un seul bloc pour accomplir une grande partie de ce travail. Et concrètement, ce que cela fait, c'est que vous initialisez une grille de la taille de l'espace de sortie souhaité, et vous la remplissez d'encodages positionnels, avec des sinus et des cosinus, dans l'espace de sortie. Et ensuite, ceux-ci sont encodés par un MLP en un ensemble de vecteurs de requête (query vectors). Et ensuite, toutes les images et leurs caractéristiques émettent aussi leurs propres clés et valeurs. Ensuite, les requêtes, les clés et les valeurs alimentent l'auto-attention multi-têtes. Donc, en fait, ce qui se passe, c'est que chaque morceau d'image diffuse dans sa clé : de quoi fait-il partie ? Donc, en gros : « Hé, je fais partie d'un pilier situé à peu près à cet endroit et je vois ce genre de choses », et ça, c'est dans la clé. Et ensuite, chaque requête, c'est un peu : « Hé, je suis un pixel dans l'espace de sortie, à cette position, et je recherche des caractéristiques de ce type. » Ensuite, les clés et les requêtes interagissent de manière multiplicative, puis les valeurs sont regroupées en conséquence. Et donc cela re-représente l'espace. Et nous avons constaté que c'était très efficace pour cette transformation. Donc, si vous faites correctement tout le travail d'ingénierie... encore une fois, c'est facile à dire, difficile à faire. Vous faites correctement tout le travail d'ingénierie. Il y a encore un, il y a encore un problème en fait avant ça... je ne sais pas pourquoi ça a du mal avec les diapositives. Donc, encore une chose : il faut être prudent avec certains détails ici quand on essaie de faire fonctionner tout ça. En particulier, toutes nos voitures sont légèrement de travers, chacune d'une manière un peu différente. Donc, si vous effectuez cette transformation de l'espace image vers l'espace de sortie, vous devez vraiment connaître votre calibration de caméra et il faut l'injecter d'une manière ou d'une autre dans le réseau de neurones. Et donc, vous pourriez carrément concaténer les calibrations de caméra de toutes les images et les injecter d'une manière ou d'une autre via un MLP. Mais en fait, nous avons découvert qu'on pouvait faire bien mieux en transformant toutes les images vers une caméra virtuelle synthétique à l'aide d'une transformation de rectification spéciale. Voilà donc à quoi cela ressemblerait. Nous insérons une nouvelle couche juste au-dessus de la couche de rectification d'image. C'est une fonction de la calibration de la caméra, et elle traduit toutes les images vers une caméra virtuelle commune. Donc, si vous faisiez la moyenne de beaucoup d'images de la caméra répétitrice, par exemple celle orientée vers l'arrière, sans faire cette transformation, vous obtiendriez une sorte de flou. Mais après avoir appliqué la transformation de rectification, on voit que le rétroviseur devient vraiment net. Donc, une fois que vous faites ça, cela améliore considérablement les performances. Voici donc quelques résultats. Donc à gauche, on voit ce que nous avions avant, et à droite, on voit maintenant des prédictions nettement améliorées, issues directement du réseau de neurones. Il s'agit d'un réseau multi-caméras qui prédit directement dans l'espace vectoriel. Et vous pouvez voir que c'est vraiment le jour et la nuit. On peut vraiment conduire avec ça. Et cela a demandé du temps, du travail d'ingénierie et un travail incroyable de l'équipe IA pour que ça fonctionne vraiment, le déployer et le rendre efficace dans la voiture. Cela a aussi considérablement amélioré notre détection d'objets. Donc par exemple, dans cette vidéo, je montre les prédictions mono-caméra en orange et les prédictions multi-caméras en bleu. Et en gros, si vous ne pouvez pas prédire ces voitures, si vous ne voyez qu'une toute petite portion d'une voiture. Alors vos détections ne seront pas très bonnes et leurs positions ne seront pas bonnes non plus. Mais un réseau multi-caméras n'a pas ce problème. Voici une autre vidéo, dans une situation plus courante. Et on voit que, quand ces voitures traversent les limites entre caméras dans cet espace restreint, beaucoup d'instabilité apparaît dans les prédictions. Et en gros, toute la configuration n'a tout simplement pas de sens, surtout pour des véhicules très longs comme celui-ci. Et on peut voir que le réseau multi-caméras a beaucoup moins de difficultés avec ce genre de prédictions. Bon, donc à ce stade, nous avons des réseaux multi-caméras qui fournissent des prédictions directement dans l'espace vectoriel, mais nous fonctionnons encore de façon totalement indépendante à chaque instant. Donc, très vite, nous avons découvert qu'il existe un grand nombre de prédictions que nous voulons faire et qui nécessitent en fait le contexte vidéo. Et nous devons trouver une manière d'injecter ça dans le réseau. En particulier, est-ce que cette voiture est garée ou non ? Est-ce qu'elle est en mouvement ? À quelle vitesse se déplace-t-elle ? Est-elle toujours là, même si elle est temporairement masquée ? Ou par exemple, si j'essaie de prédire la géométrie de la route devant moi, il est très utile de savoir si les panneaux ou les marquages routiers que j'ai vus il y a 15 secondes... Nous avons donc essayé de développer, nous avons essayé d'insérer des modules vidéo dans notre architecture de réseau de neurones. Et voici en quelque sorte une des solutions vers laquelle nous avons convergé. Nous avons donc les caractéristiques multi-échelles comme nous les avions auparavant. Et ce que nous allons maintenant insérer, c'est un module de file d'attente de caractéristiques (feature queue) qui va mettre en cache certaines de ces caractéristiques au fil du temps, puis un module vidéo qui va fusionner cette information temporellement, et ensuite nous allons continuer vers les têtes qui effectuent le décodage. Je vais maintenant examiner ces deux blocs un par un. De plus, remarquez ici que nous injectons aussi les données cinématiques. C'est essentiellement la vitesse et l'accélération, qui nous renseignent sur la façon dont la voiture se déplace. Donc nous allons non seulement garder une trace de ce que nous voyons avec toutes les caméras, mais aussi de la façon dont la voiture s'est déplacée. Voici donc la file d'attente de caractéristiques et sa structure générale. Nous concaténons essentiellement ces caractéristiques au fil du temps, ainsi que la cinématique du déplacement de la voiture et les encodages positionnels, et tout cela est concaténé, encodé et stocké dans une file d'attente de caractéristiques, qui sera ensuite consommée par un module vidéo. Il y a encore ici quelques détails qu'il faut bien maîtriser. En particulier, concernant les mécanismes de pop et de push : quand effectue-t-on le push, comment, et surtout, quand faut-il le faire ? En gros. Voici donc un schéma simplifié illustrant certains des défis ici. Il va y avoir notre véhicule (l'« ego car ») qui arrive par le bas et qui approche de cette intersection ici. Et ensuite, du trafic va commencer à traverser devant nous, ce qui va temporairement masquer certaines des voitures en face. Et ensuite, nous allons rester bloqués à cette intersection pendant un moment, en attendant simplement notre tour. C'est quelque chose qui arrive tout le temps, et c'est une représentation schématique de certains des défis ici. Premièrement, concernant la file d'attente de caractéristiques, et le moment où l'on veut y insérer (pusher) des éléments : évidemment, on aimerait avoir une sorte de file basée sur le temps T, où, par exemple, on insère des caractéristiques dans la file toutes les 27 millisecondes. Et donc, si une voiture est temporairement masquée, le réseau de neurones a maintenant la capacité de consulter et de référencer la mémoire dans le temps, et d'apprendre l'association suivante : « Même si cette chose semble masquée en ce moment, il y en a une trace dans mes caractéristiques précédentes, et je peux l'utiliser pour quand même faire une détection. » C'est donc, en quelque sorte, le cas le plus évident. Mais il y en a un autre que nous avons aussi découvert être nécessaire dans notre cas. Par exemple, supposons que vous essayiez de faire des prédictions sur la surface de la route et la géométrie de la route à venir, et que vous essayiez de prédire que je suis dans une voie de virage et que la voie voisine continue tout droit. Alors il est vraiment nécessaire de connaître les marquages au sol et les panneaux, et parfois ceux-ci sont apparus il y a longtemps. Et donc, si vous n'avez qu'une file basée sur le temps, vous risquez d'oublier ces caractéristiques pendant que vous attendez à votre feu rouge. Donc, en plus d'une file basée sur le temps, nous avons aussi une file basée sur l'espace. Nous poussons donc (pushons) un nouvel élément chaque fois que la voiture parcourt une certaine distance fixe. Donc, certains de ces détails peuvent en fait avoir une importance considérable. Et donc, dans ce cas, nous avons une file basée sur le temps et une file basée sur l'espace pour mettre en cache nos caractéristiques. Et cela se poursuit ensuite dans le module vidéo. Pour le module vidéo, nous avons examiné plusieurs possibilités pour fusionner cette information de manière temporelle. Nous avons donc regardé les convolutions tridimensionnelles, les Transformers, les transformers axiaux, dans le but de les rendre plus efficaces. Des réseaux de neurones récurrents sous un grand nombre de variantes. Mais celui que nous aimons aussi beaucoup, et sur lequel je veux passer un peu de temps, est un module vidéo basé sur un réseau de neurones récurrent spatial. Et donc, ce que nous faisons ici, c'est que, en raison de la structure du problème, nous conduisons sur des surfaces bidimensionnelles. Nous pouvons donc organiser l'état caché (hidden state) en une grille bidimensionnelle. Et ensuite, pendant que la voiture se déplace, nous ne mettons à jour que les parties proches de la voiture et là où elle a de la visibilité. Donc, pendant que la voiture se déplace, nous utilisons la cinématique pour intégrer la position de la voiture dans la grille de caractéristiques cachées. Et nous mettons à jour le RNN uniquement aux points qui sont, en quelque sorte, proches de nous. Voici donc un exemple de ce à quoi ça ressemble. Ce que je vais vous montrer, c'est la voiture qui se déplace, et nous allons observer l'état caché de ce RNN. Et voici les différents canaux de l'état caché. Vous pouvez voir qu'après optimisation et entraînement de ce réseau de neurones, certains canaux gardent la trace de différents aspects de la route, comme par exemple les centres de la route, les bords, les lignes, la surface de la route, etc. Voici une autre vidéo intéressante à ce sujet. Ici, on regarde la moyenne des dix premiers canaux de l'état caché, pour différents passages à différentes intersections. Et tout ce que je veux que vous voyiez, en gros, c'est qu'il y a une activité intéressante, le réseau de neurones récurrent suivant ce qui se passe à chaque instant. Et vous pouvez imaginer que nous avons désormais donné au réseau de neurones la capacité de lire et d'écrire sélectivement dans cette mémoire. Par exemple, s'il y a une voiture juste à côté de nous qui masque certaines parties de la route, le réseau a maintenant la capacité de ne pas écrire à ces endroits. Mais quand la voiture s'éloigne et que nous avons une très bonne visibilité, le réseau de neurones récurrent peut dire : « D'accord, nous avons une visibilité très claire. » Nous voulons vraiment écrire des informations sur ce qui se trouve dans cette partie de l'espace. Voici quelques prédictions qui montrent à quoi cela ressemble. Ici, nous faisons des prédictions sur les limites de la route en rouge, les zones d'intersection en bleu, les centres de route, etc. Nous ne montrons donc qu'une partie des prédictions ici, pour garder une visualisation claire. Et oui, c'est le RNN spatial qui fait ça. Et cela ne montre qu'un seul clip, un seul passage. Mais vous pouvez imaginer qu'il pourrait y avoir plusieurs passages ici, et qu'en gros, un certain nombre de voitures et un certain nombre de clips pourraient collaborer pour construire cette carte, c'est-à-dire, en fait, une carte HD. Sauf que ce n'est pas dans un espace d'éléments explicites, c'est dans un espace de caractéristiques d'un réseau de neurones récurrent, ce qui est assez cool. Je n'avais jamais vu ça avant. Les réseaux vidéo ont aussi considérablement amélioré notre détection d'objets. Dans cet exemple, je veux vous montrer un cas où il y a deux voitures là-bas, et une voiture va passer devant et les masquer brièvement. Regardez donc ce qui se passe avec les prédictions image par image (single frame) et les prédictions vidéo, pendant que les voitures passent devant nous. Oui, donc ça a beaucoup de sens. Voici donc un rapide passage en revue de ce qui se passe. Quand les deux sont visibles, les prédictions sont à peu près équivalentes, et vous voyez plusieurs boîtes orange parce qu'elles viennent des différentes caméras. Quand elles sont masquées, les réseaux single frame perdent la détection, mais le module vidéo s'en souvient, et nous pouvons maintenir les voitures ; et ensuite, quand elles ne sont que partiellement masquées, le réseau single frame est obligé de faire sa meilleure estimation sur ce qu'il voit, il est contraint de faire une prédiction, et il fait une prédiction vraiment mauvaise. Mais le module vidéo sait qu'il n'y a qu'une vision partielle ; il dispose déjà de l'information, et il sait que cette partie n'est pas très facilement visible en ce moment, et il n'en tient donc pas vraiment compte. Nous avons aussi constaté des améliorations significatives dans notre capacité à estimer la profondeur, et bien sûr, surtout la vitesse. Donc ici, je montre un clip issu de notre projet « remove the radar » (suppression du radar), où l'on voit la profondeur et la vitesse du radar en vert, et nous essayions d'égaler, voire de dépasser, bien sûr, ce signal uniquement à partir des réseaux vidéo. Et ce que vous voyez ici, en orange, c'est la performance single frame, et en bleu, c'est à nouveau les modules vidéo. Et donc vous voyez que la qualité de la profondeur est bien meilleure, et pour la vitesse, le signal orange... bien sûr, on ne peut pas obtenir de vitesse à partir d'un réseau single frame. Donc nous utilisons... nous dérivons simplement la profondeur pour l'obtenir. Mais le module vidéo, lui, est en fait pratiquement calé sur le signal radar. Et donc, nous avons constaté que cela fonctionnait extrêmement bien pour nous. Voici donc comment tout s'assemble. Voilà à peu près à quoi ressemble notre architecture aujourd'hui. Donc, en bas, nous avons les images brutes qui entrent. Elles passent par une couche de rectification pour corriger la calibration de la caméra et tout ramener dans une caméra virtuelle commune. Nous les faisons passer par des RegNets, des réseaux résiduels, pour les transformer en plusieurs ensembles de caractéristiques à différentes échelles. Nous fusionnons les informations multi-échelles avec un BiFPN. Cela passe ensuite par un module Transformer pour le re-représenter dans l'espace vectoriel, dans l'espace de sortie. Cela alimente ensuite une file d'attente de caractéristiques, basée sur le temps ou l'espace, qui est traitée par un module vidéo comme le RNN spatial, puis continue dans la structure arborescente du HydraNet, avec des troncs (trunks) et des têtes (heads) pour toutes les différentes tâches. Et voilà donc l'architecture, à peu près à quoi elle ressemble aujourd'hui. Et à droite, vous voyez certaines de ses prédictions, visualisées à la fois dans un espace vectoriel vu de dessus et aussi sur des images. Donc, clairement, cette architecture s'est nettement complexifiée par rapport à un simple réseau unique basé sur l'image, il y a trois ou quatre ans, et elle continue d'évoluer ; c'est vraiment assez impressionnant. Il y a encore des possibilités d'amélioration sur lesquelles l'équipe travaille activement. Par exemple, vous remarquerez que notre fusion du temps et de l'espace se fait plutôt tard, en termes de réseau de neurones. Donc, peut-être pourrions-nous en fait fusionner l'espace ou le temps plus tôt, et faire par exemple des volumes de coût (cost volumes) ou des réseaux de type flux optique en bas. Ou, par exemple, nos sorties sont des rasters denses, et il est en fait assez coûteux de post-traiter certains de ces rasters denses dans la voiture. Et bien sûr, nous sommes soumis à des exigences de latence très strictes, donc ce n'est pas idéal. Nous explorons en fait toutes sortes de manières de ne prédire que la structure épars (sparse) de la route, peut-être, vous savez, point par point, ou d'une autre façon qui ne nécessite pas de post-traitement coûteux. Mais c'est essentiellement comme ça qu'on obtient un très bel espace vectoriel. Et maintenant, je crois qu'Ashok va parler de la façon dont nous pouvons exécuter la planification et le contrôle par-dessus cela.
Merci, Andrej. Bonjour à tous, je m'appelle Ashok. Je dirige les équipes de planification et contrôle, d'auto-labellisation et de simulation. Comme Andrej l'a mentionné, les réseaux de vision prennent des données vidéo denses et les compressent ensuite en un espace vectoriel 3D. Le rôle du planificateur (planner) est maintenant de consommer cet espace vectoriel et de faire arriver la voiture à destination, tout en maximisant la sécurité, le confort et l'efficacité de la voiture. Déjà en 2019, notre planificateur était un conducteur plutôt compétent. Il était capable de rester dans sa voie, de changer de voie si nécessaire et de prendre les sorties d'autoroute. Mais la conduite en ville est bien plus compliquée. Il y a rarement des lignes de voie structurées. Les véhicules adoptent une conduite beaucoup plus libre, à laquelle la voiture doit réagir. Toutes sortes de véhicules et de piétons qui traversent et font des choses inattendues. Quel est le problème clé en planification ? Premièrement, l'espace d'action est très non convexe, et deuxièmement, il est de grande dimension. Ce que j'entends par non convexe, c'est qu'il peut y avoir plusieurs solutions possibles qui peuvent être bonnes indépendamment les unes des autres. Mais obtenir une solution globalement cohérente est plutôt délicat. Il peut donc y avoir des poches de minima locaux dans lesquelles le planificateur peut se retrouver coincé. Et deuxièmement, la haute dimensionnalité vient du fait que la voiture doit planifier pour les 10 à 15 prochaines secondes. Elle doit produire les positions, vitesses et accélérations sur toute cette fenêtre temporelle. Cela représente beaucoup de paramètres à produire en temps réel. Les méthodes de recherche discrète sont vraiment excellentes pour résoudre des problèmes non convexes, car étant discrètes, elles ne restent pas coincées dans des minima locaux. Alors que l'optimisation de fonctions continues peut facilement rester coincée dans des minima locaux et produire de mauvaises solutions, pas très bonnes. D'un autre côté, pour les problèmes à haute dimension, la recherche discrète est mauvaise parce que, étant discrète, elle n'utilise aucune information de gradient. Elle doit donc littéralement aller explorer chaque point pour savoir à quel point il est bon. Alors que l'optimisation continue utilise des méthodes basées sur le gradient. Elle arrive donc très rapidement à une bonne solution. Notre solution à l'ensemble de ce problème consiste à le décomposer de manière hiérarchique. Nous utilisons d'abord une méthode de recherche discrète pour réduire la non-convexité et obtenir un corridor convexe. Puis nous utilisons des techniques d'optimisation continue pour créer la trajectoire finale et lisse. Voyons un exemple de la façon dont la recherche fonctionne. Ici, nous essayons donc d'effectuer un changement de voie. Dans ce cas, la voiture doit effectuer deux changements de voie consécutifs pour pouvoir tourner à gauche un peu plus loin. Pour cela, la voiture explore différentes manœuvres. La première qu'elle explore est un changement de voie rapproché. Mais la voiture freine assez fort, ce qui est plutôt inconfortable. La manœuvre suivante qu'elle essaie, c'est le changement de voie. Un peu tard, donc elle accélère, passe derrière l'autre voiture, puis devant les autres voitures et termine son changement de voie. Mais elle risque maintenant de manquer le virage à gauche. Nous effectuons des milliers de recherches de ce type en un temps très court. Comme il s'agit de modèles basés sur la physique, ces éléments sont très faciles à simuler. Et finalement, nous obtenons un ensemble de candidats et nous en choisissons un en fonction de critères d'optimalité, de sécurité, de confort et de la facilité à effectuer le virage. La voiture a donc choisi cette trajectoire, et vous pouvez voir que lorsqu'elle l'exécute, cela correspond presque exactement à ce qui avait été planifié. Le graphique cyan sur la droite représente la vitesse réelle de la voiture, et la ligne blanche en dessous, c'était le plan. Nous sommes donc capables de planifier sur 10 secondes ici, et de nous y conformer, comme on le constate rétrospectivement. C'est donc un plan bien conçu. Lorsqu'on conduit à proximité d'autres agents, il est important de ne pas planifier seulement pour nous-mêmes, mais de planifier conjointement pour tout le monde et d'optimiser la circulation globale de la scène. Pour ce faire, nous exécutons littéralement le planificateur d'Autopilot sur chaque objet pertinent de la scène. Voici un exemple qui montre pourquoi cela est nécessaire. Voici un corridor étroit. Je vais vous laisser regarder la vidéo un instant. Voilà, c'était Autopilot conduisant dans un autre corridor, contournant des voitures garées, des cônes et des poteaux. Voici une vue en 3D de la même chose. La voiture venant en sens inverse arrive maintenant, et Autopilot ralentit un peu, mais réalise ensuite que nous ne pouvons pas lui céder le passage car nous n'avons pas d'espace de notre côté, alors que l'autre voiture peut, elle, nous céder le passage. Donc, plutôt que de freiner aveuglément ici, tout notre raisonnement conclut que cette voiture a une vitesse suffisamment faible pour se garer et qu'elle doit nous céder le passage, puisque nous ne pouvons pas lui céder le passage, et la voiture progresse alors avec assurance ; une deuxième voiture venant en sens inverse arrive. Or, ce véhicule a une vitesse plus élevée, et comme je l'ai dit plus tôt, nous exécutons littéralement le planificateur d'Autopilot pour cet autre objet. Dans ce cas, nous exécutons donc le planificateur pour eux. Le plan de cet objet consiste à contourner les voitures garées de leur côté, puis, après les avoir dépassées, à revenir sur le côté droit de la route pour eux. Comme nous ne savons pas ce qui se passe dans l'esprit du conducteur, nous envisageons en fait plusieurs futurs possibles pour cette voiture. Un futur possible est représenté en rouge, l'autre en vert. Le plan vert est celui où la voiture nous céderait le passage. Mais comme la vitesse et l'accélération de cet objet sont assez élevées, nous ne pensons pas que cette personne va nous céder le passage, et elle va en fait contourner ces voitures garées. Autopilot décide donc : d'accord, j'ai de la place ici, cette personne va définitivement passer, donc je vais me ranger sur le côté. Alors qu'Autopilot se range sur le côté, nous remarquons que cette voiture a en fait choisi de nous céder le passage, à en juger par son taux de lacet et son accélération. Et Autopilot change immédiatement d'avis et continue sa progression. C'est pourquoi nous devons planifier pour tout le monde, car sinon nous ne saurions pas que cette personne va contourner les autres voitures garées puis revenir sur son côté. Si Autopilot ne faisait pas cela, il serait trop timide et ne constituerait pas une voiture autonome pratique. Nous avons donc vu comment la recherche et la planification pour les autres usagers permettent de créer une vallée convexe. Enfin, nous effectuons une optimisation continue pour produire la trajectoire finale que le planificateur doit suivre. Ici, la zone grise représente le corridor convexe. Et nous initialisons la spline en cap et en accélération, paramétrée selon la longueur d'arc du plan. Et vous pouvez voir que l'optimisation apporte continuellement des ajustements fins pour réduire l'ensemble de ses coûts. Certains de ces coûts sont, par exemple, la distance aux obstacles, le temps de parcours et le confort. Pour le confort, vous pouvez voir que les courbes d'accélération latérale à droite ont de belles formes trapézoïdales. Ça va apparaître. Oui. Ici à droite, la courbe verte, c'est une belle forme trapézoïdale. Et si vous enregistrez une trajectoire humaine, c'est à peu près à cela qu'elle ressemble. Le jerk latéral est également minimisé. Donc, en résumé, nous effectuons une recherche à la fois pour nous et pour tous les autres usagers de la scène. Nous établissons un corridor convexe, puis nous optimisons pour obtenir une trajectoire lisse. Ensemble, ces éléments permettent de réaliser des choses vraiment remarquables, comme montré ci-dessus. Mais la conduite est un peu différente ailleurs, comme là où j'ai grandi. C'est bien plus désorganisé. Les voitures et les piétons se coupent la route, freinages brusques, coups de klaxon. C'est un monde complètement fou. Nous pouvons essayer de faire évoluer ces méthodes à plus grande échelle, mais il sera vraiment difficile de résoudre cela efficacement en temps réel. Ce que nous voulons faire à la place, c'est utiliser des méthodes basées sur l'apprentissage pour les résoudre efficacement. Et je veux vous montrer pourquoi c'est vrai. Nous allons donc passer de ce problème complexe à un problème de stationnement bien plus simple, un peu comme un jouet, mais qui illustre quand même l'essentiel du problème. Voici un parking. La voiture ego est en bleu et doit se garer dans la place de parking verte, ici. Elle doit donc contourner les bordures de trottoir, les voitures garées et les cônes, représentés ici en orange. Voici une référence simple. C'est un algorithme standard qui utilise une recherche basée sur un réseau en treillis. Et l'heuristique utilisée ici est une distance, la distance euclidienne à l'objectif. Vous pouvez voir qu'elle se dirige directement vers l'objectif, mais se retrouve très rapidement piégée dans un minimum local, revient en arrière, puis cherche un chemin différent pour essayer de contourner cette voiture garée. Elle finit par progresser et atteindre l'objectif, mais utilise finalement 400 000 nœuds pour y arriver. C'est évidemment une heuristique épouvantable. Nous voulons faire mieux que cela. Donc, si on y ajoute un itinéraire de navigation et qu'on demande à la voiture de suivre cet itinéraire tout en restant proche de l'objectif, voici ce qui se passe. L'itinéraire de navigation aide immédiatement, mais lorsqu'elle rencontre des cônes ou d'autres obstacles, elle fait essentiellement la même chose qu'avant : elle revient en arrière puis cherche un nouveau chemin. Et cette pauvre recherche n'a aucune idée que ces obstacles existent. Elle doit littéralement s'y rendre, vérifier s'il y a collision, et si c'est le cas, reculer. L'heuristique de navigation a aidé, mais cela a quand même nécessité 22 000 nœuds. Nous pouvons concevoir de plus en plus de ces heuristiques pour rendre la recherche toujours plus rapide. Mais il est vraiment fastidieux et difficile de concevoir une heuristique globalement optimale. Même si l'on disposait d'une fonction de distance aux cônes pour guider la recherche, elle ne serait efficace que pour ce seul cône. Mais ce dont nous avons besoin, c'est une fonction de valeur globale. Donc, ce que nous voulons utiliser à la place, ce sont des réseaux de neurones pour nous fournir cette heuristique. Les réseaux de vision produisent l'espace vectoriel, dans lequel des voitures se déplacent. Cela ressemble essentiellement à un jeu Atari, mais dans une version multijoueur. Nous pouvons donc utiliser des techniques telles que MuZero, AlphaZero, etc., qui ont servi à résoudre le jeu de Go et d'autres jeux Atari, pour résoudre ce même problème. Nous travaillons donc sur des réseaux de neurones capables de produire des distributions d'états et d'actions, qui peuvent ensuite être intégrées à une recherche arborescente de Monte-Carlo avec diverses fonctions de coût. Certaines de ces fonctions de coût peuvent être des fonctions explicites, comme ici, par exemple les collisions, le confort, le temps de parcours, etc. Et cetera. Mais elles peuvent aussi provenir d'interventions issues d'événements réels de conduite manuelle. Nous entraînons un tel réseau pour ce problème de stationnement simplifié. Voici donc à nouveau le même problème. Voyons comment se comporte la recherche arborescente MCTS. On remarque ici que le planificateur est capable, essentiellement en une seule fois, de progresser directement vers l'objectif. Notez que cela n'utilise même pas d'heuristique de navigation. Simplement à partir de la scène, le plan est capable d'aller directement vers l'objectif. Toutes les autres ramifications que vous voyez sont des options possibles. Il ne choisit aucune d'entre elles, seulement l'option qui le mène directement vers l'objectif. La raison est que le réseau de neurones est capable d'absorber le contexte global de la scène, puis de produire une fonction de valeur qui le guide efficacement vers un minimum global, au lieu de rester coincé dans un minimum local. Cela ne nécessite donc que 288 nœuds, soit plusieurs ordres de grandeur de moins que ce qui était nécessaire avec l'algorithme A* utilisant l'heuristique de distance euclidienne. Voici donc à quoi ressemblera l'architecture finale. Le système de vision va condenser les données vidéo denses en un espace vectoriel. Il sera exploité à la fois par un planificateur explicite et par un planificateur basé sur un réseau de neurones. En plus de cela, le planificateur neuronal peut également exploiter des caractéristiques intermédiaires du réseau. Ensemble, cela produit une distribution de trajectoires, qui peut être optimisée de bout en bout, à la fois avec des fonctions de coût explicites, des interventions humaines et d'autres données d'imitation. Cela passe ensuite dans une fonction de planification explicite, qui fait ce qui est simple pour elle et produit les commandes finales de direction et d'accélération pour la voiture. Cela étant dit, nous devons maintenant expliquer comment nous entraînons ces réseaux. Et pour entraîner ces réseaux, nous avons besoin de grands jeux de données. J'invite Andrej à nous parler brièvement de l'annotation manuelle.
Oui, donc les données, l'histoire des jeux de données, c'est absolument essentiel. Bien sûr. Jusqu'à présent, nous n'avons parlé que des réseaux de neurones. Mais les réseaux de neurones ne fixent qu'une limite supérieure à vos performances. Beaucoup de ces réseaux de neurones comptent des centaines de millions de paramètres. Et ces centaines de millions de paramètres doivent être réglés correctement. Si le réglage des paramètres est mauvais, ça ne fonctionnera pas. Les réseaux de neurones ne sont donc qu'une limite supérieure. Il faut aussi d'immenses jeux de données pour réellement entraîner les bons algorithmes à l'intérieur. Or, en particulier, j'ai mentionné que nous voulons des jeux de données directement dans l'espace vectoriel. Et donc, la véritable question devient : comment peut-on les accumuler ? Parce que nos réseaux comptent des centaines de millions de paramètres. Comment accumuler des millions et des millions d'exemples dans l'espace vectoriel, propres et variés, pour réellement entraîner efficacement ces réseaux de neurones aujourd'hui ? Il y a donc toute une histoire des jeux de données et de leur évolution, en parallèle de tous les modèles et avancées que nous avons réalisés jusqu'à présent. En particulier, quand j'ai rejoint l'entreprise il y a environ quatre ans, nous travaillions avec un prestataire externe pour obtenir une grande partie de nos jeux de données. Malheureusement, nous avons très vite constaté que travailler avec un tiers pour obtenir des jeux de données sur un sujet aussi critique n'allait tout simplement pas suffire. Le délai de traitement en travaillant avec un tiers était extrêmement élevé, et honnêtement, la qualité n'était pas extraordinaire. Et donc, dans l'esprit de l'intégration verticale complète chez Tesla, nous avons ramené toute l'annotation en interne. Et avec le temps, nous avons développé une organisation d'annotation de données de plus de 1 000 personnes, composée d'annotateurs professionnels qui travaillent en étroite collaboration avec les ingénieurs. En fait, ils sont basés ici aux États-Unis et colocalisés avec les ingénieurs, ici même dans la Bay Area. Nous travaillons donc en très étroite collaboration avec eux, et nous construisons également nous-mêmes toute l'infrastructure dont ils ont besoin, à partir de zéro. Nous avons donc une équipe, que nous rencontrerons plus tard aujourd'hui, qui développe et maintient toute cette infrastructure pour le Data Lake. Et donc ici, par exemple, je vous montre quelques captures d'écran des statistiques de latence, de débit et de qualité que nous suivons pour tous les flux d'annotation, les personnes impliquées individuellement, toutes les tâches, ainsi que l'évolution du nombre d'annotations au fil du temps. Nous avons donc trouvé cela absolument essentiel, et nous en sommes très fiers. Au tout début, il y a environ trois ou quatre ans, la plupart de notre annotation se faisait dans l'espace image. Et vous imaginez bien que cela prend beaucoup de temps d'annoter une image comme celle-ci. Et voilà à quoi cela ressemblait : nous dessinions en quelque sorte des polygones et des polylignes directement sur ces images individuelles. Comme je l'ai mentionné, nous avons besoin de millions d'annotations dans l'espace vectoriel, donc cela ne suffira pas. Nous sommes donc très vite passés à une annotation en trois ou quatre dimensions, où nous annotons directement dans l'espace vectoriel, et non plus sur des images individuelles. Ce que je vous montre ici, c'est un extrait, et vous voyez une très petite reconstruction. Vous allez bientôt voir beaucoup plus de reconstructions. Mais c'est une très petite reconstruction du plan du sol sur lequel la voiture a roulé, ainsi qu'une petite partie du nuage de points qui a été reconstruit ici. Et ce que vous voyez ici, c'est que l'annotateur modifie les étiquettes directement dans l'espace vectoriel, puis nous reprojetons ces modifications dans les images des caméras. Nous annotons donc directement dans l'espace vectoriel. Et cela nous a permis d'augmenter massivement le débit pour beaucoup de nos étiquettes, car on annote une fois en 3D et on peut ensuite reprojeter. Mais même cela, nous avons réalisé que ce ne serait pas suffisant. Parce que les humains et les ordinateurs ont des avantages et des inconvénients différents. Les humains sont extrêmement doués pour des choses comme la sémantique, mais les ordinateurs sont très bons en géométrie, reconstruction, triangulation, suivi. Donc pour nous, c'est vraiment devenu une question de savoir comment les humains et les ordinateurs collaborent pour créer ces ensembles de données en espace vectoriel. Nous allons donc maintenant parler de l'auto-étiquetage, qui fait partie de l'infrastructure que nous avons développée pour annoter ces clips à grande échelle.
Bonjour à nouveau. Donc, même si nous avons beaucoup d'annotateurs humains, la quantité de données d'entraînement nécessaires pour entraîner le réseau les dépasse largement en nombre. Nous avons donc essayé d'investir dans un pipeline massif d'auto-étiquetage. Voici un exemple de la façon dont nous annotons un seul clip. Un clip est une entité qui contient des données de capteurs denses comme des vidéos, des données IMU, du GPS, de l'odométrie, etc. Cela peut durer de 45 secondes à une minute. Ils peuvent être téléversés par nos propres voitures d'ingénierie ou par les voitures de nos clients. Nous collectons ces clips puis nous les envoyons à nos serveurs, où nous exécutons de nombreux réseaux de neurones hors ligne pour produire des résultats intermédiaires comme la segmentation, le matting, la mise en correspondance de points en profondeur, etc. Cela passe ensuite par de nombreux algorithmes de robotique et d'IA pour produire un ensemble final d'étiquettes pouvant être utilisées pour entraîner les réseaux. Une des premières choses que nous voulons étiqueter est la surface de la route. En général, on peut utiliser des splines ou des maillages pour représenter la surface de la route, mais en raison des contraintes topologiques, ceux-ci ne sont pas différentiables et ne se prêtent pas à cette tâche. Ce que nous faisons à la place s'inspire des travaux sur les champs de radiance neuronaux (NeRF) de l'année dernière, qui sont très populaires. Nous utilisons donc une représentation implicite pour représenter la surface de la route. Ici, nous interrogeons des points XY au sol et demandons au réseau de prédire la hauteur de la surface du sol, ainsi que diverses informations sémantiques telles que les courbes, les limites de voie, la surface de la route, l'espace de conduite, etc. Donc, à partir d'un seul point XY, nous obtenons un Z ; ensemble, ils forment un point 3D qui peut être reprojeté dans toutes les vues des caméras. Nous effectuons donc des millions de requêtes de ce type et obtenons un grand nombre de points. Ces points sont reprojetés dans toutes les vues des caméras ; nous montrons ici, en haut à droite, une image de caméra avec tous ces points reprojetés. Nous pouvons maintenant comparer ce point reprojeté avec l'espace image. La prédiction des segmentations et l'optimisation conjointe de celle-ci sur toutes les vues des caméras, à la fois dans l'espace et dans le temps, produit une excellente reconstruction. Voici un exemple de ce à quoi cela ressemble. Voici donc une surface de route optimisée, reprojetée sur les huit caméras de la voiture et sur toute la durée du trajet. Et vous pouvez voir comment elle reste cohérente à la fois dans l'espace et dans le temps. Ainsi, une seule voiture traversant un endroit peut balayer une portion de terrain autour de sa trajectoire grâce à cette technique. Mais nous ne sommes pas obligés de nous arrêter là. Ici, nous avons collecté différents clips du même endroit, peut-être provenant de voitures différentes, et chacune d'elles balaie une partie de la route. Ce qui est intéressant, c'est que nous pouvons tous les réunir dans une seule gigantesque optimisation. Ici, ces 16 trajets différents sont organisés et alignés à l'aide de diverses caractéristiques telles que les bords de la route, les lignes de voie. Tous doivent concorder entre eux et également concorder avec toutes leurs observations basées sur les images. Ensemble, cela offre un moyen efficace d'étiqueter la surface de la route, non seulement là où la voiture a roulé, mais aussi dans d'autres endroits où elle n'a pas encore circulé. Encore une fois, l'objectif n'est pas simplement de construire des cartes HD ou quoi que ce soit de ce genre. Il s'agit seulement d'étiqueter les clips à travers ces intersections afin de ne pas avoir à les entretenir indéfiniment, tant que les étiquettes restent cohérentes avec les vidéos à partir desquelles elles ont été collectées. Optionnellement, des humains peuvent ensuite intervenir pour nettoyer le bruit résiduel ou ajouter des métadonnées supplémentaires afin de l'enrichir encore davantage. Nous ne sommes pas obligés de nous arrêter à la seule surface de la route. Nous pouvons également reconstruire librement des obstacles statiques en 3D. Voici un nuage de points 3D reconstruit à partir de nos caméras. La principale innovation ici est la densité du nuage de points. En général, ces points nécessitent de la texture pour établir des associations d'une image à l'autre. Mais ici, nous parvenons à produire ces points même sur des surfaces sans texture, comme la route ou les murs. Et cela est vraiment utile pour annoter des obstacles arbitraires que nous pouvons voir dans la scène, dans le monde. Un autre avantage intéressant de faire tout cela hors ligne sur les serveurs, c'est que nous bénéficions du recul. C'est une astuce très utile, car dans la voiture, le réseau doit, par exemple, produire la vitesse. Il ne peut utiliser que les informations historiques et deviner quelle est la vitesse. Mais ici, nous pouvons examiner à la fois le passé et l'avenir, et donc en quelque sorte tricher pour obtenir la bonne réponse concernant la cinématique, comme la vitesse, l'accélération, etc. Un autre avantage est que nous pouvons avoir des pistes différentes, mais nous pouvons les recoller ensemble même à travers des occlusions. Comme nous connaissons l'avenir, nous disposons des pistes futures, nous pouvons les faire correspondre et les associer. Vous pouvez donc voir ici que les piétons de l'autre côté de la route restent persistants même à travers plusieurs occlusions causées par ces voitures. C'est vraiment important pour le planificateur, car s'il a vu quelqu'un, il doit continuer à en tenir compte, même lorsque cette personne est occultée. C'est donc un avantage considérable. En combinant tout cela, nous pouvons produire ces ensembles de données incroyables qui annotent toute la texture de la route, tous les objets statiques et tous les objets en mouvement, même à travers des occlusions, en produisant d'excellentes étiquettes cinématiques. Vous pouvez voir comment les voitures tournent en douceur, produisant des étiquettes vraiment fluides. Tous les piétons sont suivis de manière cohérente, les voitures garées ont une vitesse nulle. Nous pouvons ainsi également savoir qu'elles sont garées. C'est donc énorme pour nous. Voici un autre exemple de la même chose. Vous pouvez voir à quel point tout est cohérent. Nous voulons produire un million de clips ainsi étiquetés et entraîner nos réseaux vidéo multi-caméras avec un ensemble de données aussi vaste, afin de vraiment résoudre ce problème. Nous voulons obtenir dans la voiture la même vue cohérente que celle que vous voyez ici. Nous avons commencé notre première exploration de cela avec le projet « Remove the Radar ». Nous l'avons supprimé dans un délai très court, je crois en l'espace de trois mois. Dans les premiers temps du réseau, nous avons remarqué, par exemple, que dans des conditions de faible visibilité, le réseau pouvait en souffrir, ce qui est compréhensible, car ce camion vient manifestement de nous déverser un tas de neige dessus et c'est vraiment difficile à voir. Mais nous devrions néanmoins nous souvenir que cette voiture se trouvait devant nous. Mais à leurs débuts, nos réseaux ne le faisaient pas, en raison du manque de données dans de telles conditions. Nous avons donc demandé à la flotte de produire beaucoup de clips similaires, et la flotte a répondu, elle l'a fait. Donc elle en produit. Est-ce que ça joue ? Oui, elle produit plein de clips vidéo où toutes sortes de trucs tombent des autres véhicules. Et nous avons fait passer tout cela par notre pipeline d'auto-étiquetage, qui a pu étiqueter 10 000 clips en une semaine. Cela aurait pris plusieurs mois si des humains avaient dû étiqueter chaque clip ici. Nous avons fait cela pour 200 conditions différentes et avons pu créer très rapidement de vastes ensembles de données, et c'est ainsi que nous avons pu supprimer le radar. Donc, une fois que nous avons entraîné les réseaux avec ces données, vous pouvez voir que ça fonctionne parfaitement. Et il garde en mémoire que cet objet était présent et fournit cette information. Enfin, nous avons voulu faire apparaître un Cybertruck dans un jeu de données pour le projet « Remove the Radar ». Pouvez-vous tous deviner d'où vient ce clip ? Je vous laisse un instant. Quelqu'un l'a dit. Oui, oui. C'est rendu en images de synthèse. C'est notre simulation. C'était difficile à dire au premier abord pour moi, et si je peux me permettre, c'est plutôt joli. C'est vraiment très joli. Donc, oui, en plus de l'auto-étiquetage, nous investissons aussi massivement dans l'utilisation de la simulation pour étiqueter nos données. Voici donc la même scène que précédemment, mais vue sous un autre angle de caméra. Quelques points que je voulais souligner. Par exemple, la surface du sol, ce n'est pas de l'asphalte uni. Il y a beaucoup de marques, de fissures et de joints de bitume. Il y a aussi des rustines appliquées par-dessus. Les véhicules se déplacent de façon réaliste. Le camion est articulé, il monte même sur le trottoir et prend un virage large. Les autres voitures se comportent de façon tout aussi intelligente. Elles évitent les collisions, contournent les voitures et accélèrent aussi en douceur. Elles freinent et accélèrent en douceur. La voiture ici, avec le logo sur le toit, est en Autopilot. En fait, c'est Autopilot qui conduit cette voiture. Et là, un virage à gauche protégé. Et comme il s'agit d'une simulation, elle part de l'espace vectoriel, donc elle dispose d'étiquettes parfaites. Nous montrons ici quelques-unes des étiquettes que nous produisons. Il s'agit de cuboïdes de véhicules avec cinématique, profondeur, normales de surface, segmentation. Mais Andrej peut nommer une nouvelle tâche qu'il souhaite avoir la semaine prochaine, et nous pouvons la produire très rapidement, car nous disposons déjà de l'espace vectoriel et nous pouvons écrire le code pour produire ces étiquettes très, très vite. Alors, quand la simulation est-elle utile ? Elle aide, premièrement, lorsque les données sont difficiles à obtenir. Même avec une flotte aussi grande que la nôtre, il peut être difficile d'obtenir des scènes aussi folles que ce couple et son chien courant sur l'autoroute, alors que d'autres voitures roulent à grande vitesse autour d'eux. C'est une scène plutôt rare, je dirais, mais elle peut quand même se produire. Et Autopilot doit malgré tout pouvoir la gérer lorsqu'elle se produit. Lorsque les données sont difficiles à étiqueter, il y a des centaines de personnes qui traversent la route. Cela pourrait être le centre de Manhattan, avec des gens traversant la route. Il faudra plusieurs heures aux humains pour étiqueter ce clip. Et même pour les algorithmes d'étiquetage automatique, il est vraiment difficile d'obtenir les bonnes associations. Et cela peut produire de mauvaises estimations de vitesse. Mais en simulation, c'est trivial, car on dispose déjà des objets. Il suffit de générer les cuboïdes et les vitesses. Et enfin, lorsque nous introduisons un comportement en boucle fermée où la voiture doit se trouver dans une situation déterminante, ou lorsque les données dépendent des actions, c'est à peu près le seul moyen fiable de les obtenir. Tout cela est formidable. Que faut-il pour que cela devienne réalité ? Premièrement, une simulation précise des capteurs. Encore une fois, le but de la simulation n'est pas simplement de produire de belles images. Elle doit produire ce que la caméra et la voiture verraient, ainsi que ce que les autres capteurs percevraient. Ici, nous passons en revue différents réglages d'exposition : la caméra réelle à gauche et la simulation à droite. Nous parvenons à reproduire quasiment exactement ce que font les caméras réelles. Pour y arriver, nous avons dû modéliser un grand nombre des propriétés de la caméra dans notre simulation de capteurs, à commencer par le bruit du capteur, le flou de mouvement, les distorsions optiques, même la transmission des phares, et même les motifs de diffraction du pare-brise, etc. Nous n'utilisons pas cela uniquement pour le logiciel d'Autopilot. Nous l'utilisons aussi pour prendre des décisions matérielles, comme la conception des objectifs, la conception des caméras, le placement des capteurs, et même les propriétés de transmission des phares. Deuxièmement, nous devons rendre les visuels de manière réaliste. On ne peut pas avoir ce que l'industrie du jeu vidéo appelle des « jaggies » (crénelage). Ce sont des artefacts de crénelage qui révèlent immédiatement qu'il s'agit d'une simulation. Nous ne voulons pas de ça. Nous nous donnons donc beaucoup de peine pour produire un bon anticrénelage spatio-temporel. Nous travaillons également sur des techniques de rendu neuronal pour rendre cela encore plus réaliste.
De plus, nous utilisons aussi le ray tracing pour produire des effets de ray tracing, d'éclairage et d'illumination globale. Ok, c'était la dernière des voitures de police, je crois. Nous ne pouvons évidemment pas nous contenter de quatre ou cinq voitures, car le réseau ferait facilement de l'overfitting en reconnaissant leurs tailles. Nous avons donc besoin d'actifs réalistes, comme cet élan sur la route ici. Nous avons des milliers d'actifs dans notre bibliothèque, ils peuvent porter différents vêtements et se déplacer de façon réaliste. C'est donc vraiment cool. Nous avons aussi cartographié et créé de nombreux endroits différents pour construire ces environnements de simulation. Nous avons en fait construit 2 000 miles de route. Et cela correspond presque à la longueur du trajet routier entre la côte est et la côte ouest des États-Unis, ce qui je trouve plutôt cool. De plus, nous avons développé des outils efficaces permettant à un seul artiste de construire plusieurs miles supplémentaires en une seule journée. Mais ce n'est que la pointe de l'iceberg. En fait. La plupart des données que nous utilisons pour l'entraînement sont créées de manière procédurale à l'aide d'algorithmes, plutôt que par des artistes concevant ces scénarios de simulation. Ce sont donc des routes entièrement créées de manière procédurale, avec de nombreux paramètres tels que la courbure, des arbres variés, des cônes, des poteaux, des voitures à différentes vitesses, et leur interaction produit un flux de données infini pour le réseau. Mais une grande partie de ces données peut être ennuyeuse, car le réseau les traite peut-être déjà correctement. Nous utilisons donc aussi des techniques basées sur le machine learning pour perturber le réseau, afin de voir où il échoue et de créer davantage de données autour de ces points d'échec. Tout cela fonctionne donc en boucle fermée, dans le but d'améliorer les performances du réseau. Mais nous ne voulons pas nous arrêter là. En fait, nous voulons recréer en simulation tous les échecs qui surviennent avec Autopilot, afin de pouvoir, par la suite, exiger de lui qu'il atteigne toujours ce même niveau. Donc, à gauche, vous voyez un véritable clip capturé par une voiture. Il passe ensuite par notre pipeline d'étiquetage automatique pour produire une reconstruction 3D de la scène ainsi que de tous les objets en mouvement. En combinant cela avec les informations visuelles originales, nous recréons la même scène de façon synthétique et en faisons entièrement un scénario de simulation. Ensuite, lorsque nous y rejouons Autopilot, il peut faire des choses entièrement nouvelles, et nous pouvons créer de nouveaux mondes, de nouveaux résultats à partir de l'échec initial. C'est formidable, car nous ne voulons vraiment pas qu'Autopilot échoue. Et quand il échoue, nous voulons le capturer et le maintenir à ce niveau d'exigence. Mais ce n'est pas tout : nous pouvons en fait reprendre l'approche que nous venons de décrire et la pousser encore plus loin. Nous pouvons utiliser des techniques de rendu neuronal pour le rendre encore plus réaliste. Nous prenons donc le clip vidéo original, nous en recréons une simulation synthétique, puis nous y appliquons des techniques de rendu neuronal. Et cela donne ce résultat, qui est à mon avis impressionnant, car il est très réaliste et ressemble presque à ce qui aurait été filmé par les caméras réelles. C'est un résultat d'hier soir, parce que c'était tellement cool que nous avons voulu le présenter. Mais oui, je suis vraiment enthousiaste à l'idée de ce que la simulation peut accomplir. Mais tout ça n'est pas que du vent, car les réseaux entraînés embarqués dans la voiture utilisent déjà des données de simulation. Nous avons utilisé 300 millions d'images avec près d'un demi-milliard d'étiquettes. Et nous voulons venir à bout de toutes les tâches qui se présenteront au cours des prochains mois. Sur ce, j'invite Milan à venir expliquer comment nous faisons passer ces opérations à grande échelle et comment nous construisons véritablement une usine à étiquettes capable de produire des millions de labels.
Très bien, merci, Ashok. Salut à tous. Je suis Milan. Je suis responsable de l'intégration de nos réseaux de neurones dans la voiture, ainsi que de l'essentiel de notre infrastructure d'entraînement et d'évaluation des réseaux de neurones. Ce soir, j'aimerais donc commencer par vous donner une idée de la puissance de calcul nécessaire pour faire fonctionner ce type d'usine de génération de données. Ainsi, dans le cadre précis de l'effort que notre équipe a mené il y a quelques mois pour supprimer la dépendance d'Autopilot au capteur radar, nous avons généré plus de 10 milliards d'étiquettes sur deux millions et demi de clips. Pour y arriver, nous avons dû déployer nos immenses réseaux de neurones hors ligne ainsi que notre moteur de simulation sur des milliers de GPU et un peu moins de 20 000 cœurs de CPU. En plus de cela, nous avons également intégré plus de 2000 véritables ordinateurs Full Self-Driving d'Autopilot dans la boucle avec notre moteur de simulation. Et il s'agit là de notre plus petit cluster de calcul. J'aimerais donc vous donner une idée de ce qu'il faut pour prendre nos réseaux de neurones et les embarquer dans la voiture. Les deux principales contraintes sur lesquelles nous travaillons ici sont essentiellement la latence et la fréquence d'images, qui sont très importantes pour la sécurité, mais aussi pour obtenir des estimations correctes de l'accélération et de la vitesse de notre environnement. Le cœur du problème réside donc vraiment dans le compilateur d'IA que nous écrivons et développons au sein de l'équipe, et qui fait correspondre les opérations de calcul de notre modèle PyTorch à un ensemble de composants matériels dédiés et accélérés. Et nous faisons cela tout en déterminant un ordonnancement optimisé pour le débit, tout en respectant de fortes contraintes de SRAM. Et au passage, nous ne faisons pas cela sur un seul moteur, mais sur les deux moteurs de l'ordinateur Autopilot. Chez Tesla, nous utilisons ces moteurs de telle sorte qu'à tout instant, seul l'un des deux envoie réellement les commandes de contrôle au véhicule, tandis que l'autre sert d'extension de calcul. Mais ces rôles sont interchangeables, tant au niveau matériel que logiciel. Alors, comment faisons-nous, en équipe, pour itérer rapidement au fil de ces cycles de développement de l'IA ? Tout d'abord, nous avons considérablement renforcé, au cours des dernières années, notre capacité à évaluer notre logiciel et nos réseaux de neurones. Et aujourd'hui, nous exécutons probablement plus d'un million d'évaluations par semaine sur chaque modification de code produite par l'équipe. Ces évaluations s'exécutent sur plus de 3000 véritables ordinateurs Full Self-Driving, reliés ensemble dans un cluster dédié. Et en plus de cela, nous développons des outils de débogage vraiment géniaux. Voici donc une vidéo de l'un de nos outils, qui aide les développeurs à itérer dans le développement des réseaux de neurones, en comparant en direct les sorties de différentes versions d'un même modèle de réseau de neurones, pendant qu'on itère en direct sur des clips vidéo. Enfin, et ce n'est pas le moins important, nous avons considérablement accru notre puissance de calcul pour l'entraînement des réseaux de neurones au cours des dernières années. Et aujourd'hui, nous approchons des 10 000 GPU, ce qui, pour vous donner une idée, représente en nombre de GPU plus que les cinq plus grands supercalculateurs publiquement connus au monde. Mais ce n'est pas suffisant. J'aimerais donc inviter Ganesh à venir parler des prochaines étapes.
Merci, Milan. Je m'appelle Ganesh et je dirige le projet Dojo. C'est un honneur de présenter ce projet au nom de l'équipe pluridisciplinaire de Tesla qui y travaille. Comme Milan vous l'a montré, il existe une demande insatiable de vitesse et de capacité pour l'entraînement des réseaux de neurones. Et Elon avait anticipé cela. Il y a quelques années, il nous a demandé de concevoir un ordinateur d'entraînement ultra-rapide. Et c'est ainsi que nous avons lancé le projet Dojo. Notre objectif est d'atteindre les meilleures performances d'entraînement en IA, de prendre en charge tous ces modèles plus grands et plus complexes dont l'équipe d'Andrej rêve, tout en étant à la fois économe en énergie et rentable. Nous avons donc réfléchi à la façon de construire cela, et nous avons abouti à une architecture de calcul distribuée. Après tout, tous les ordinateurs d'entraînement existants sont, d'une manière ou d'une autre, des ordinateurs distribués. Ils comportent des éléments de calcul dans le boîtier, reliés par un réseau d'un type ou d'un autre. Dans ce cas, il s'agit d'un réseau bidimensionnel, mais ce pourrait être n'importe quel autre type de réseau. CPU, GPU, accélérateurs : tous disposent de calcul, d'un peu de mémoire et d'un réseau. Mais une tendance commune à tous ces systèmes, c'est qu'il est facile de faire évoluer la puissance de calcul, très difficile de faire évoluer la bande passante, et extrêmement difficile de réduire les latences. Vous verrez comment notre choix de conception a répondu à cela, comment notre philosophie a traité ces aspects des limites traditionnelles. Pour Dojo, nous avons imaginé un vaste plan de calcul rempli d'éléments de calcul très robustes, soutenus par un large pool de mémoire et interconnectés par un maillage de très haute bande passante et faible latence, sous forme de grille 2D. Et sur cette base, pour une échelle extrême, les grands réseaux de neurones seront partitionnés et répartis afin d'exploiter différentes formes de parallélisme : modèle, graphe, données. Ensuite, notre compilateur neuronal exploite la localité spatiale et temporelle afin de réduire l'empreinte de communication à des zones locales et de limiter les communications globales. Si nous faisons cela, notre utilisation de la bande passante peut continuer à évoluer avec le plan de calcul que nous souhaitons atteindre. Ici, nous avons voulu attaquer ce problème de haut en bas de la pile, et éliminer tout goulot d'étranglement à chacun de ces niveaux. Commençons ce parcours de l'intérieur vers l'extérieur, en débutant par la puce. Comme je l'ai décrit, les puces comportent des éléments de calcul. Notre plus petite unité d'échelle s'appelle un nœud d'entraînement. Et le choix de ce nœud est crucial pour garantir une montée en échelle sans accroc. Si l'on va trop petit, cela tourne vite, mais les coûts de synchronisation et de logiciel finissent par dominer. Si on le choisit trop grand, cela entraîne des complexités d'implémentation, au niveau du matériel réel, et finit par se heurter à des problèmes de mémoire. Des problèmes de goulot d'étranglement. Parce que nous voulions traiter la latence et la bande passante comme notre principal axe d'optimisation. Voyons comment nous nous y sommes pris. Ce que nous avons fait, c'est déterminer la distance maximale qu'un signal pouvait parcourir en un seul cycle d'horloge, à une fréquence très élevée. Dans ce cas, plus de 2 gigahertz. Et nous avons tracé une boîte autour de cette distance. C'est la plus faible latence avec laquelle un signal peut parcourir un cycle à très haute fréquence. Ensuite, nous avons rempli cette boîte de fils jusqu'à la limite. C'est la plus grande bande passante que l'on puisse fournir à cette boîte. Puis nous avons ajouté, en dessous, du calcul dédié au machine learning, ainsi qu'un vaste pool de SRAM. Et enfin, un cœur programmable pour assurer le contrôle. Et c'est ainsi que nous avons obtenu notre nœud d'entraînement haute performance. Il s'agit d'un CPU superscalaire 64 bits, optimisé autour d'unités de multiplication matricielle et de SIMD vectoriel. Il prend en charge le format flottant 32 bits, le BFLOAT16, ainsi qu'un nouveau format, le CFP8, un FP8 configurable. Il est soutenu par 1,25 mégaoctet de SRAM rapide protégée par ECC, ainsi que par le maillage à faible latence et haute bande passante que nous avons conçu. Il s'agit peut-être de notre plus petite unité d'échelle, mais elle a une sacrée puissance de frappe. Plus d'un téraflop de calcul dans notre plus petite unité d'échelle. Regardons donc son architecture. Les architectes informatiques présents dans la salle reconnaîtront peut-être cela. C'est une architecture très performante, on le voit dès le premier coup d'œil. Il s'agit d'un CPU superscalaire à exécution dans l'ordre, avec un pipeline vectoriel large de 4 et un pipeline large de 2. Des pipelines scalaires larges de 4 et vectoriels larges de 2. Nous l'appelons « in order », à exécution dans l'ordre. Bien que les pipelines vectoriels et scalaires puissent, eux, s'exécuter dans le désordre. Mais pour les puristes dans la salle, nous continuons à l'appeler « in order ». Elle dispose également d'un multithreading à quatre voies. Cela augmente le taux d'utilisation, car nous pouvons effectuer calcul et transferts de données simultanément. Et notre jeu d'instructions personnalisé, c'est-à-dire notre ISA, est entièrement optimisé pour les charges de travail de machine learning. Elle propose des fonctionnalités telles que la transposition, le parcours de liens par gather, ou la diffusion (« broadcast »), pour n'en citer que quelques-unes. Et même sur le plan physique, nous l'avons rendue extrêmement modulaire, de sorte que nous puissions juxtaposer ces nœuds d'entraînement dans n'importe quelle direction et commencer à former le plan de calcul que nous envisagions. En assemblant 354 de ces nœuds d'entraînement, nous obtenons notre matrice de calcul. Elle est capable de fournir 300 téraflops de puissance de calcul pour le machine learning. Et bien sûr, le maillage à haute bande passante qui les interconnecte. Et tout autour de cette matrice de calcul, nous l'avons entourée de 576 SerDes rapides et basse consommation, afin d'obtenir une bande passante d'entrée-sortie extrême pour cette puce. Pour vous donner un point de comparaison, c'est plus de deux fois la bande passante que proposent les puces de commutation réseau les plus avancées actuellement sur le marché. Et les puces de commutation réseau sont censées représenter la référence absolue en matière de bande passante d'entrée-sortie. En assemblant tout cela, nous obtenons notre puce optimisée pour l'entraînement, notre puce D1. Cette puce est fabriquée avec une technologie de 7 nanomètres. Elle intègre 50 milliards de transistors sur une surface minuscule de seulement 645 millimètres carrés. Une chose que vous remarquerez : ici, cent pour cent de la surface est consacrée au machine learning, à l'entraînement et à la bande passante. Il n'y a pas de silicium inutilisé, pas de prise en charge d'anciennes générations. C'est une machine entièrement dédiée au machine learning. Et. Voici la puce D1 dans un boîtier BGA en flip-chip. Tout cela a été entièrement conçu en interne par l'équipe Tesla, de l'architecture jusqu'au GDS final et au boîtier. Cette puce offre une puissance de calcul au niveau d'un cœur de GPU, avec la flexibilité d'un CPU, et une bande passante d'entrée-sortie deux fois supérieure à celle d'une puce réseau. Si je traçais la bande passante d'entrée-sortie sur l'axe vertical en fonction des téraflops de calcul disponibles sur les puces de machine learning les plus avancées actuellement, y compris celles de certaines startups, vous verriez facilement en quoi notre choix de conception se distingue nettement. Maintenant que nous disposions de ce bloc de construction physique fondamental, restait à concevoir le système autour de lui. Voyons cela. Comme les puces D1 peuvent se connecter entre elles de façon transparente, sans aucune logique de liaison, nous avons simplement commencé à les assembler. Nous avons simplement assemblé. 500 000 nœuds d'entraînement pour former notre plan de calcul. Cela représente 1500 puces D1 connectées entre elles de façon transparente. Puis nous ajoutons des processeurs d'interface Dojo à chaque extrémité. Il s'agit du pont hôte vers les serveurs classiques des centres de données. Il est connecté en PCI Gen 4 d'un côté, et par un maillage à haute bande passante vers notre plan de calcul de l'autre. Les processeurs d'interface fournissent non seulement le pont hôte, mais aussi une mémoire DRAM partagée à haute bande passante pour le plan de calcul. De plus, les processeurs d'interface nous permettent également de bénéficier d'une connexion réseau à plus haute radix. Pour parvenir à ce plan de calcul, nous avons dû inventer une nouvelle manière d'intégrer ces puces entre elles. Et c'est ce que nous appelons une tuile d'entraînement. C'est l'unité d'échelle de notre système. C'est une intégration révolutionnaire de 25 puces D1 validées (« known good die ») sur un procédé de wafer fan-out, intégrées de façon si étroite que la bande passante entre elles est préservée. La bande passante maximale y est préservée. Et en plus, nous avons conçu un connecteur, un connecteur à haute densité et haute bande passante, qui préserve la bande passante sortant de cette tuile d'entraînement. Et cette tuile nous offre neuf pétaflops de calcul, avec une bande passante d'entrée-sortie massive qui en sort. C'est peut-être le plus grand module multi-puces organique (MCM) de l'industrie des semi-conducteurs. Module multi-puces. Ce n'était pas facile à concevoir. Il n'existait aucun outil pour cela. Tous les outils rendaient l'âme. Même notre cluster de calcul n'arrivait pas à le gérer. Nous avons dû. Nos ingénieurs ont trouvé différentes façons de résoudre ce problème. Ils ont créé de nouvelles méthodes pour concrétiser cela. Maintenant que nous disposions de notre tuile de plan de calcul à haute bande passante d'entrée-sortie, il fallait encore l'alimenter en énergie. Et là, nous avons trouvé une nouvelle façon d'alimenter en puissance verticalement. Nous avons créé un module régulateur de tension personnalisé qui peut être soudé par refusion directement sur la plaquette fan-out. Donc ce que nous avons fait ici, c'est que nous avons pris un boîtier de puce et nous avons appliqué la technologie de refusion de niveau carte PCB à cette technologie de plaquette fan-out. C'est déjà beaucoup d'intégration ici. Mais nous ne nous sommes pas arrêtés là. Nous avons intégré ici l'ensemble des éléments électriques, thermiques et mécaniques pour former notre tuile d'entraînement. Entièrement intégré, avec une interface d'entrée en courant continu de 52 volts. C'est inédit. C'est une prouesse d'ingénierie incroyable. Notre plan de calcul est complètement orthogonal à l'alimentation et au refroidissement. Cela rend possibles des plans de calcul à haute bande passante. Ce que c'est, c'est une tuile d'entraînement de neuf pétaflops. Cela devient notre unité d'échelle pour notre système. Et c'est bien réel. Je n'arrive pas à croire que je tiens neuf pétaflops entre mes mains. Et en fait, la semaine dernière, nous avons obtenu notre première tuile d'entraînement fonctionnelle. Et sur une installation de banc d'essai avec un refroidissement très limité, nous avons réussi à faire fonctionner certains réseaux. On m'a dit qu'Andre ne croirait pas que nous pouvions faire tourner des réseaux tant que nous ne ferions pas tourner l'une de ses créations. Andre, voici Mingpt2 qui tourne sur Dojo. Est-ce que tu y crois maintenant ? Ensuite, voyons comment en former un cluster de calcul. À ce stade, vous avez dû réaliser que notre approche de la modularité est particulièrement solide. Nous assemblons simplement des tuiles. Nous avons simplement relié des tuiles entre elles. Une disposition de deux par trois tuiles dans un plateau forme notre matrice d'entraînement. Et deux plateaux dans une armoire donnent 100 pétaflops de calcul. Nous sommes-nous arrêtés là ? Non, nous avons simplement intégré le tout de manière transparente. Nous avons fait tomber les parois des armoires. Nous avons intégré ces tuiles de manière totalement transparente, tout en préservant la bande passante. Il n'y a aucune chute de bande passante ici. Il n'y a aucune falaise de bande passante. Toutes les tuiles sont connectées de manière transparente avec la même bande passante. Et avec cela. Nous avons un exapod. C'est un exaflop de calcul réparti dans 10 armoires. C'est plus d'un million de nœuds d'entraînement que vous avez vus. Nous avons porté une attention méticuleuse à ce nœud d'entraînement. Et il y a ici 1 million de nœuds avec une bande passante uniforme, et pas seulement au niveau du matériel. Les aspects logiciels sont tout aussi importants pour garantir la mise à l'échelle. Et toutes les tâches n'ont pas besoin d'un cluster énorme. Nous avons donc prévu cela dès le départ. Notre plan de calcul peut être subdivisé, partitionné en unités appelées Dojo Processing Unit. Une DPU se compose d'une ou plusieurs puces D1. Elle comporte également notre processeur d'interface et un ou plusieurs hôtes. Et cela peut être dimensionné à la hausse ou à la baisse selon les besoins de n'importe quel algorithme, de n'importe quel réseau qui y tourne. Que doit faire l'utilisateur ? Il doit modifier ses scripts de manière minimale. Et cela grâce à notre puissante suite de compilation. Elle se charge du parallélisme à grain fin et de la cartographie des réseaux de neurones de manière très efficace sur notre plan de calcul. Notre compilateur utilise plusieurs techniques pour extraire le parallélisme. Il peut transformer les réseaux pour obtenir non seulement un parallélisme à grain fin grâce à des techniques de parallélisme de données, de modèle et de graphe. Il peut également effectuer des optimisations pour réduire l'empreinte mémoire. Un point important : grâce à la nature haute bande passante de notre tissu d'interconnexion, le parallélisme de modèle peut être étendu à un niveau qui n'était pas possible auparavant. Elle était limitée aux frontières de la puce. Maintenant, grâce à notre haute bande passante, nous pouvons l'étendre aux tuiles d'entraînement et au-delà. Ainsi, de grands réseaux peuvent être cartographiés efficacement ici avec de petites tailles de lot, extrayant une utilisation et de nouveaux niveaux de performance. De plus, notre compilateur est capable de gérer des flux de contrôle dynamiques de haut niveau comme les boucles, les conditions if-then-else, etc. Et notre moteur de compilation ne fait que partie de l'ensemble de notre suite logicielle. La pile logicielle comprend une extension de Pytorch qui garantit les mêmes interfaces au niveau utilisateur que celles auxquelles les scientifiques en machine learning sont habitués. Et notre compilateur génère du code à la volée, de sorte qu'il puisse être réutilisé pour les exécutions suivantes. Il dispose d'un backend LLVM qui génère le binaire pour le matériel. Et cela garantit que nous pouvons créer du code optimisé pour le matériel sans dépendre d'une seule ligne de noyau écrit à la main. Notre pile de pilotes gère le multi-hôte et le multi-partitionnement que vous avez vus quelques diapositives plus tôt. Et nous disposons également de profileurs et de débogueurs dans notre pile logicielle. Donc, avec tout cela, nous avons intégré de manière verticale. Nous avons fait tomber les barrières traditionnelles à la mise à l'échelle, et c'est ainsi que nous avons obtenu une modularité à tous les niveaux de la pile pour atteindre de nouveaux niveaux de performance. Pour résumer, voici ce que cela donnera. Ce sera l'ordinateur d'entraînement IA le plus rapide, avec 4 fois plus de performance pour le même coût, 1,3 fois plus de performance par watt, soit une économie d'énergie, et un encombrement 5 fois plus réduit. Ce sera l'ordinateur Dojo. Nous n'avons pas terminé. Nous allons assembler nos premières armoires très prochainement, et nous avons déjà tout un plan pour la prochaine génération. Nous envisageons 10 fois plus, avec différents aspects que nous pouvons à nouveau optimiser, du silicium jusqu'au système. Nous allons refaire ce parcours. Nous recrutons massivement dans tous ces domaines. Merci beaucoup. Et ensuite, Elon va nous parler de ce qui va au-delà de notre flotte de véhicules en matière d'IA.
Ra. Merci. Contrairement à Dojo, évidemment, ça, ce n'était pas réel. Donc Dojo, c'est réel, et le Tesla Bot sera réel. Mais en gros, si vous réfléchissez à ce que nous faisons actuellement avec les voitures, Tesla est sans doute la plus grande entreprise de robotique au monde, parce que nos voitures sont comme des robots semi-conscients sur roues, avec l'ordinateur de conduite entièrement autonome, qui est essentiellement le moteur d'inférence embarqué dans la voiture, et qui va continuer à évoluer, évidemment. Et avec Dojo et tous les réseaux de neurones qui reconnaissent le monde, qui comprennent comment s'y déplacer, ça a en quelque sorte du sens de mettre tout ça dans une forme humanoïde. Et nous sommes aussi plutôt doués en matière de capteurs, de batteries et d'actionneurs. Nous pensons donc que nous aurons probablement un prototype d'ici l'année prochaine, qui ressemblera en gros à ceci. Et il est conçu pour être amical, bien sûr, pour se déplacer dans un monde conçu pour les humains, et pour éliminer les tâches dangereuses, répétitives et ennuyeuses. Nous le concevons de telle sorte que, sur le plan mécanique, sur le plan physique, vous puissiez lui échapper en courant et très probablement le maîtriser. Donc, espérons que cela n'arrivera jamais, mais on ne sait jamais. Donc ce sera, vous savez, un... léger. Léger, oui. Bref, cinq miles à l'heure. Si vous pouvez courir plus vite que ça, ça devrait aller. Donc oui, il mesure environ 1,73 m, il a une sorte d'écran à la place de la tête pour afficher des informations utiles, mais sinon il embarque essentiellement le système Autopilot. Il a donc des caméras, huit caméras, et oui, l'ordinateur Full Self-Driving, et il utilise tous les mêmes outils que ceux que nous utilisons dans la voiture. Donc, je veux dire, ce qui est vraiment difficile pour avoir un robot humanoïde utile, c'est qu'il ne peut pas naviguer dans le monde sans être explicitement entraîné. Je veux dire, sans instructions explicites, du genre ligne par ligne. Est-ce que vous pouvez lui parler et lui dire, genre, s'il te plaît, ramasse ce boulon et fixe-le sur la voiture avec cette clé, et il devrait être capable de le faire. Il devrait être capable de, vous savez, s'il te plaît, va au magasin et rapporte-moi les courses suivantes, ce genre de choses. Donc oui, je pense que nous pouvons y arriver. Et oui, je pense que ça va être assez, assez profond, parce que si on se demande, qu'est-ce que l'économie ? À la base, c'est le travail. Alors que se passe-t-il quand il n'y a plus, vous savez, de pénurie de main-d'œuvre ? C'est pourquoi je pense qu'à long terme, il faudra un revenu universel de base. Oui. Mais pas tout de suite, parce que ce robot ne fonctionne pas encore. Donc il nous faut juste un peu de temps. Donc. Oui, mais je pense qu'essentiellement, à l'avenir, le travail physique sera un choix. Si vous voulez le faire, vous le pouvez, mais vous n'en aurez pas besoin. Et oui, je pense que cela a évidemment des implications profondes pour l'économie, parce que, étant donné que l'économie, à son niveau fondamental, c'est du travail — je veux dire, le capital, c'est du capital, l'équipement, c'est juste du travail distillé — alors existe-t-il une véritable limite à l'économie ? Peut-être pas. Donc, oui, rejoignez notre équipe et aidez-nous à construire ça. Bon, je pense que nous allons faire revenir tout le monde sur scène, et vous pourrez poser des questions si vous le souhaitez. Oui, Sam. D'accord, super. Vous remontez tous sur scène. J'aimerais juste qu'on essaie d'avoir l'angle de caméra depuis là-bas, pas de côté. D'accord, super. Donc on va probablement rallumer les lumières et... Oui, super. Donc nous serions ravis de répondre à toutes vos questions, que ce soit sur le logiciel, le matériel, la direction que prennent les choses, et oui, allez-y. Parce que ces lumières, c'est un peu comme des lumières d'interrogatoire. En fait, nous ne voyons rien. Ah, voilà. Super. D'accord, super. Je peux juste...
Audience
D'accord, voilà. Tout d'abord, je veux dire, merci à tous les présentateurs. C'était vraiment super cool de voir tout ça. Je suis juste curieux, à un niveau général, et c'est une question pour à peu près n'importe qui voudra bien y répondre. Dans quelle mesure êtes-vous intéressés à publier ou à rendre open source ce que vous faites, pour l'avenir ?
Eh bien, je veux dire que c'est fondamentalement extrêmement coûteux de créer ce système, donc il faut bien que ça soit payé d'une manière ou d'une autre. Je ne sais pas trop comment on paierait pour ça. Si c'était entièrement open source. Oui, sauf si les gens veulent travailler gratuitement. Mais je dois dire que si d'autres constructeurs automobiles veulent en obtenir la licence et l'utiliser dans leurs voitures, ce serait super. Ce n'est pas censé se limiter uniquement aux voitures Tesla,
Audience
c'est pour le superordinateur Dojo. Donc, avez-vous résolu le problème du compilateur concernant la mise à l'échelle sur autant de nœuds, ou bien... Ou si c'est résolu, est-ce que ça ne s'applique qu'à Dojo ? Parce que je fais de la recherche sur les accélérateurs de deep learning, et obtenir une bonne scalabilité ou une bonne distribution, même au sein d'une seule puce, est extrêmement difficile du point de vue des projets de recherche. J'étais donc juste curieux.
Excusez-moi, Mike pour Bill.
Bill (Dojo engineer)
Avons-nous résolu le problème ? Pas encore. Sommes-nous confiants que nous allons le résoudre ? Oui, nous avons démontré des réseaux sur du matériel prototype. Nous avons maintenant des modèles, des modèles de performance, qui montrent la mise à l'échelle. La difficulté, comme vous l'avez dit, c'est de savoir comment conserver la localité : si nous pouvons faire suffisamment de parallélisme de modèle, suffisamment de parallélisme de données pour garder la plupart des choses locales, alors nous continuons simplement à monter en échelle. Nous devons faire entrer les paramètres dans notre ensemble de travail. Dans notre SRAM, que nous avons, et nous faisons circuler les données dans le pipeline. Il y a de nombreuses opportunités.
Bill (Dojo engineer)
Au fur et à mesure que nous progressons vers des nœuds de processeur plus avancés avec plus de mémoire locale, et des compromis mémoire/bande passante, nous pouvons faire davantage de choses. Mais comme nous le voyons actuellement, pour les applications que Tesla a, nous voyons un chemin clair, et notre approche modulaire signifie que nous pouvons créer différents ratios, différents aspects à partir de cela. Je veux dire que c'est quelque chose que nous avons choisi pour nos applications internes.
Audience
Une certaine partie, oui. Étant donné que l'entraînement est une application à la mise à l'échelle si peu linéaire, même si vous disposez de toute cette puissance de calcul et d'une interconnexion à haute bande passante, cela ne pourrait pas vous donner cette performance, car vous effectuez des calculs sur une mémoire limitée répartie à différents endroits. Donc ça m'a beaucoup intrigué quand vous avez dit que c'était résolu, parce que j'ai tout de suite sauté sur l'occasion. J'aimerais beaucoup en savoir plus, vu tout ce que vous pouvez rendre open source là-dedans. Oui, oui.
Je suppose que c'est à l'usage qu'on verra. Donc Dojo devrait être opérationnel l'année prochaine et je pense que nous l'utiliserons évidemment pour l'entraînement, l'entraînement sur vidéo. Je veux dire que fondamentalement, l'application principale au départ, c'est que nous avons d'immenses quantités de vidéo, et il s'agit de savoir comment entraîner ces immenses quantités de vidéo aussi efficacement que possible, tout en réduisant le temps nécessaire. Par exemple, si vous essayez d'entraîner un modèle pour une tâche, de manière générale, l'innovation dépend du nombre d'itérations et des progrès moyens réalisés entre chaque itération. Et donc, si vous pouvez réduire le temps entre les itérations, le taux d'amélioration est bien meilleur. Donc vous savez, si l'entraînement d'un modèle prend parfois quelques jours au lieu de quelques heures, c'est une différence énorme. Mais le véritable test ici, et c'est ce que j'ai dit à l'équipe Dojo, c'est que ce sera un succès si l'équipe logicielle veut éteindre le cluster de GPU, mais si elle veut le garder allumé, ce ne sera pas un succès.
Audience
Bonjour, juste ici. J'ai adoré la présentation. Merci de nous avoir fait venir ici. J'ai adoré tout, en particulier la partie simulation de la présentation. Je me demandais, ça a l'air très, très, très réaliste. Y a-t-il des projets pour étendre la simulation à d'autres parties de l'entreprise, d'une manière ou d'une autre ? Le micro aussi. Bonjour, je suis Inglo, je dirige l'équipe de simulation Autopilot. Donc, en progressant vers la conduite entièrement autonome, nous allons devoir simuler de plus en plus de parties du véhicule. Actuellement, nous simulons la dynamique du véhicule, mais nous allons avoir besoin du BMS, nous allons avoir besoin du MCU, nous allons avoir besoin que chaque composant du véhicule soit intégré, et cela rend en fait le simulateur Autopilot très utile pour des usages en dehors d'Autopilot. Donc je veux étendre, ou plutôt nous voulons étendre cela pour en faire, à terme, une plateforme de simulation universelle. Mais je pense qu'avant cela, nous allons développer beaucoup de support pour Optimus, et ensuite... Et un peu plus loin dans le temps, nous avons quelques idées encore approximatives sur la façon de mettre potentiellement l'infrastructure de simulation et certaines des choses intéressantes que nous avons construites entre les mains de personnes extérieures à l'entreprise.
Optimus est le nom de code du robot Tesla. Oups. Optimus. Brian ?
Audience
Oui, bonjour, ici Ali Jahanian. Merci pour cette excellente présentation et pour avoir réuni toutes ces choses formidables. Oui, depuis un moment je pense que la voiture est déjà un robot, alors pourquoi pas un humain ? C'est un robot. Et je suis très heureux qu'aujourd'hui vous ayez mentionné que vous alliez construire une telle chose. Je pense surtout que cela peut offrir des possibilités pour combiner la multimodalité. Par exemple, nous savons que dans l'exemple que vous avez montré, où il y avait un chien et des passagers qui couraient ensemble, le traitement du langage et le traitement symbolique peuvent vraiment aider à visualiser cela. Donc je me demandais si je pouvais entendre un peu plus sur ce type de combinaison des modalités, y compris le langage et la vision, parce que j'ai travaillé, par exemple, avec plusieurs modèles de type GPT et avec ce qu'Andrej a publié. Et oui, je n'ai pas entendu grand-chose sur d'autres modalités qui seraient intégrées à la voiture, ou du moins dans la simulation. Avez-vous un commentaire à ce sujet ?
Eh bien, la conduite repose fondamentalement, pour l'essentiel, presque entièrement sur des réseaux de neurones de vision. En gros, cela fonctionne sur un réseau de neurones de vision biologique. Et ce que nous faisons ici, c'est un réseau de neurones à base de caméras en silicium. Donc il y a une certaine part d'audio : vous voulez entendre s'il y a des véhicules d'urgence, ou, je suppose, converser avec les personnes dans la voiture. Vous savez, si quelqu'un crie quelque chose à la voiture, la voiture doit comprendre ce dont il s'agit. Donc, vous savez, tout ce qui est nécessaire pour qu'elle soit entièrement autonome. Oui, merci.
Audience
Bonjour, merci pour tout l'excellent travail que vous avez présenté. Ma question s'adresse à l'équipe, car les données montrées semblent provenir principalement des États-Unis, sur lesquelles l'ordinateur FSD est entraîné. Mais au fur et à mesure que cela est déployé dans différents pays, qui ont leur propre système routier et les défis qui en découlent... Comment pensez-vous que cela va évoluer à grande échelle ? Je suppose, par exemple, que repartir de zéro n'est pas une solution très viable. Alors comment est-ce que cela se transpose à d'autres pays ?
Eh bien, il y a... En fait, nous entraînons le système avec des données provenant probablement d'une cinquantaine de pays différents, mais nous devons choisir, vous savez, pour faire avancer la conduite entièrement autonome, nous devons choisir, choisir un pays. Et puisque nous sommes basés ici, nous choisissons les États-Unis, et ensuite on nous pose beaucoup de questions du type : pourquoi pas même le Canada ? Eh bien, parce que les routes sont un peu différentes au Canada. Suffisamment différentes. Et donc, quand on essaie de résoudre un problème difficile, on a envie de dire, bon, n'ajoutons pas de complexité supplémentaire pour l'instant, résolvons-le d'abord pour les États-Unis, puis nous extrapolerons au reste du monde. Mais nous utilisons bien des vidéos venant du monde entier.
Oui, je pense qu'une grande partie de ce que nous construisons est très indépendante du pays, fondamentalement tous les composants de vision par ordinateur, etc. Cela ne se préoccupe pas trop des caractéristiques spécifiques à un pays. Vous savez, différents pays ont des routes, des trottoirs, des voitures, et tout ce que nous construisons est conçu de manière assez générale pour cela.
Et ensuite, la directive première, c'est de ne pas avoir d'accident.
Exact. Et c'est vrai pour tous les pays.
Oui. Donc c'est la directive première. Et même maintenant, la voiture est déjà assez bonne pour éviter les accidents. Et donc, en gros, peu importe ce que c'est, il ne faut pas le heurter. Même si c'est un OVNI qui s'est écrasé sur l'autoroute, il ne faut toujours pas le percuter ; vous ne devriez pas avoir besoin de le reconnaître pour ne pas le percuter. C'est très important.
Audience
Patience. Et je voudrais demander : quand vous effectuez le processus photométrique, la géométrie multi-vues, quelle marge d'erreur observez-vous ? Est-ce de l'ordre d'un millimètre, d'un centimètre ? Donc je me demande juste, si ce n'est pas confidentiel,
pardon, quel est le, quel est le, quel
Audience
la différence entre la synthétique,
Audience
la différence entre la géométrie créée synthétiquement et la géométrie réelle ?
Oui, c'est généralement de l'ordre de quelques centimètres, trois ou quatre centimètres, c'est l'écart type.
Audience
Avec différents types de modalités pour réduire cette erreur.
Nous essayons principalement de trouver des méthodes d'annotation évolutives. Dans certains cas, nous utilisons d'autres capteurs pour servir de référence, mais nous essayons principalement d'utiliser des caméras pour ce système.
Oui, je veux dire, je pense que nous voulons viser une position de la voiture précise à l'échelle du centimètre, vous savez, quelque chose de cet ordre.
Évidemment, cela dépendra de la distance. Par exemple, les objets proches sont généralement beaucoup plus précis que les objets éloignés, et ces derniers importent moins, car la voiture n'a pas besoin de prendre des décisions à une grande distance. Et à mesure qu'il se rapproche, cela devient de plus en plus précis.
Audience
Exactement. Beaucoup de questions. Merci à tous. Ma question porte un peu sur l'IA et la fabrication. Cela fait un moment que nous n'avons pas entendu parler du concept d'« alien dreadnought ». Est-ce que le robot humanoïde derrière vous... Est-ce que cela découle en quelque sorte de l'époque de « l'enfer de la production », pour dire que les humains sont sous-estimés dans ce processus ?
Eh bien, parfois, vous savez, quelque chose que je dis est poussé à l'extrême. Il y a des parties du système Tesla qui sont presque entièrement automatisées, et il y a d'autres parties qui sont presque entièrement manuelles. Et si vous parcouriez tout le système de production, vous verriez un très large éventail allant, comme je l'ai dit, de l'entièrement automatique au presque entièrement manuel. Mais la grande majorité, la plus grande partie, est déjà automatisée. Et donc, avec certains changements d'architecture de conception, comme le passage à de grands composants en aluminium moulés sous haute pression, nous pouvons prendre tout le tiers arrière de la voiture et le mouler en une seule pièce. Et maintenant, nous allons également réaliser le tiers avant de la voiture en une seule pièce. Donc la ligne de carrosserie se réduit d'environ 60 à 70 % en taille. Mais oui, le robot n'est pas motivé spécifiquement par des besoins de fabrication. C'est juste qu'évidemment, nous fabriquons les pièces nécessaires à un robot humanoïde utile. Donc je suppose que nous devrions probablement le fabriquer, et si nous ne le faisons pas, quelqu'un d'autre le fera. Donc je pense que nous devrions le fabriquer et veiller à ce qu'il soit sûr. Je devrais aussi dire que la fabrication en grand volume est extrêmement difficile et sous-estimée, et nous sommes devenus plutôt bons à ça. C'est également important pour ce robot humanoïde. Par exemple, comment faire pour que le robot humanoïde ne soit pas extrêmement coûteux ? Et
Audience
Bonjour, merci pour la présentation. Et ma question portera sur la mise à l'échelle de Dojo, et en particulier sur la façon dont vous faites évoluer les nœuds de calcul en termes de thermique et d'alimentation électrique, car il n'y a qu'une certaine quantité de chaleur que l'on peut dissiper et qu'une certaine quantité d'énergie que l'on peut apporter à une baie de serveurs, par exemple. Et comment comptez-vous faire évoluer cela, et comment comptez-vous le faire évoluer sur plusieurs centres de données ?
Bill (Dojo engineer)
Bonjour, je suis Bill, je fais partie des ingénieurs de Dojo. Donc, du point de vue thermique et du point de vue électrique, nous l'avons conçu de manière très modulaire. Donc ce que vous avez vu sur la tuile de calcul va refroidir toute la tuile. Donc, une fois que nous la raccordons, elle est refroidie par liquide à la fois sur le dessus et sur le dessous. Elle n'a besoin de rien d'autre. Et donc, quand on parle d'assembler ces éléments en les emboîtant, une fois raccordé à l'alimentation et une fois raccordé au refroidissement, il sera entièrement alimenté et entièrement refroidi, et tout cela représente moins d'un pied cube. Oui. Donc Tesla possède une grande expertise en électronique de puissance et en refroidissement. Donc nous avons pris l'expertise en électronique de puissance issue du groupe motopropulseur du véhicule, ainsi que le refroidissement avancé que nous avons développé pour l'électronique de puissance et pour le véhicule, et nous avons appliqué cela au supercalculateur. Parce que, comme vous le soulignez, évacuer la chaleur est extrêmement important. C'est vraiment limité par la chaleur. Donc c'est toujours amusant de voir qu'au niveau du calcul, cela fonctionne à moins d'un volt, ce qui est une tension très basse. Il y a beaucoup d'ampérage. Donc par conséquent, beaucoup de chaleur ; c'est la formule I au carré fois R qui vous mord vraiment les fesses.
Audience
Bonjour. Ma question aussi est vraiment une question de mise à l'échelle. Il semble donc qu'une conséquence naturelle de l'utilisation d'un matériel d'entraînement nettement plus rapide est que vous entraîneriez soit des modèles sur beaucoup plus de données, soit des modèles beaucoup plus complexes, ce qui pourrait être potentiellement beaucoup plus coûteux à exécuter en inférence dans les voitures. Je me demandais donc s'il existait un plan pour également appliquer Dojo à quelque chose que vous utiliseriez directement sur les voitures autonomes. Et si c'est le cas, prévoyez-vous des défis supplémentaires à ce niveau-là ?
Je peux répondre. Donc, comme vous avez pu le voir, les modèles d'Andrej ne sont pas uniquement destinés aux voitures. Il y a par exemple des modèles d'étiquetage automatique, il y a d'autres modèles qui vont au-delà de l'application automobile, mais qui alimentent la pile logicielle de la voiture. Donc. Donc Dojo sera également utilisé pour tout cela, pas seulement pour la partie entraînement liée à l'inférence dans la voiture.
Oui, je veux dire que la première application de Dojo consistera à exploiter des données vidéo pour l'entraînement, qui sera ensuite exécuté dans le moteur d'inférence embarqué dans la voiture. Mais, et je pense que c'est un test important, pour voir si c'est effectivement bon, ou si c'est effectivement meilleur qu'un cluster de GPU, ou non. Mais au-delà de ça, c'est fondamentalement un ordinateur généraliste d'entraînement de réseaux de neurones. Mais c'est vraiment optimisé pour être un réseau de neurones. Donc, vous savez, les CPU et les GPU n'ont pas été conçus spécifiquement pour l'entraînement de réseaux de neurones. Nous avons réussi à rendre les GPU particulièrement efficaces pour l'entraînement des réseaux de neurones. Mais ce n'était jamais leur but de conception. Donc, en gros, les GPU fonctionnent encore essentiellement en mode émulation pour l'entraînement des réseaux de neurones. Donc avec Dojo, on s'est dit : d'accord, autant transformer tout ça en ASIC. Ayons simplement une machine conçue pour un seul objectif : l'entraînement des réseaux de neurones. Et de manière générale, tout système conçu pour un usage spécifique sera meilleur qu'un système conçu pour un usage général.
Audience
Salut, j'ai une question ici. Salut. Vous décrivez donc deux systèmes distincts, l'un pour la vision, et une sorte de planificateur et de contrôle. Est-ce que Dojo vous permet d'entraîner des réseaux qui franchissent cette frontière ? Et deuxième chose, si vous étiez capable d'entraîner de tels réseaux, auriez-vous la capacité de calcul embarquée dans le système FSD pour les faire fonctionner dans vos contraintes de latence strictes ? Merci.
Oui, je pense que nous devrions pouvoir entraîner des réseaux quelconques sur Dojo ou sur n'importe quel GPU. C'est vraiment indépendant de la plateforme, et je pense qu'une fois que nous aurons rendu tout ça end-to-end, ce sera plus efficace que de décoder tous ces états intermédiaires. Donc vous devriez pouvoir aller plus vite si vous rendez l'ensemble end-to-end. Avec les réseaux de neurones, on peut éviter beaucoup de décodage d'états intermédiaires et ne décoder que les éléments essentiels nécessaires à la conduite de la voiture.
Oui, clairement end-to-end. C'est le principe directeur derrière une grande partie du développement de nos réseaux. Et avec le temps, dans la pile logicielle, les réseaux de neurones ont pris en charge de plus en plus de fonctionnalités. Donc nous voulons que tout soit entraîné end-to-end, car nous voyons que c'est ce qui fonctionne le mieux, mais nous le construisons de manière incrémentale. Donc pour l'instant, l'interface à ce niveau est l'espace vectoriel, et nous l'exploitons dans le planificateur. Mais rien n'empêche fondamentalement de prendre ces caractéristiques et de finir par les affiner end-to-end. Donc je pense que c'est clairement la direction que ça prend.
Et la vraie découverte, c'est de trouver les bonnes architectures à placer dans les blocs du réseau pour le rendre adapté à cette tâche. Ainsi, comme nous l'avons décrit, nous pouvons placer des RNN spatiaux pour aider à résoudre le problème de perception. Et maintenant, c'est juste un réseau de neurones. De même, pour la planification, nous devons intégrer l'optimisation de recherche directement dans l'architecture du réseau de planification. Et une fois cela fait, vous devriez pouvoir planifier très rapidement, comme avec des algorithmes en C.
Audience
D'accord, je pense que j'avais une question très similaire à celle qu'il posait. Il semble qu'il y ait beaucoup de réseaux de neurones autour de la vision par ordinateur et une planification plutôt traditionnelle. Vous aviez de la commande prédictive par modèle et la résolution très rapide de problèmes d'optimisation convexe. Et je me demandais s'il existe une architecture de calcul mieux adaptée à l'optimisation convexe ou pour résoudre très rapidement la commande prédictive par modèle.
Oui, à 100 %. Si vous voulez intégrer, comme je le disais plus tôt, ces architectures qui font par exemple de la commande prédictive par modèle, on peut simplement remplacer certains de ces blocs par des réseaux de neurones, ou alors, si l'on connaît la physique du problème, utiliser des modèles basés sur la physique comme partie des réseaux de neurones pour notre trajectoire elle-même. Nous allons donc évoluer vers un système hybride où des blocs de réseaux de neurones seront associés à des blocs basés sur la physique, puis davantage de réseaux de neurones par la suite. Ce sera donc une pile hybride : ce que nous savons bien faire, nous l'intégrons explicitement, et là où les réseaux font mieux, nous utilisons les réseaux pour optimiser cela. Donc on construit une pile end-to-end avec cette architecture intégrée.
Je pense en effet que tant que vous avez des réseaux de neurones pour la vidéo périphérique permettant de comprendre ce qui se passe et de convertir cette vidéo en espace vectoriel, vous avez essentiellement un jeu vidéo. Et si, vous savez, si vous. C'est comme dans Grand Theft Auto ou autre, on peut faire rouler les voitures et marcher les piétons sans qu'il y ait de collisions. Donc on peut le faire. Vous n'êtes pas obligé d'avoir un réseau de neurones pour le contrôle et la planification, mais c'est probablement mieux au final. Donc. Mais je pense qu'on peut probablement atteindre, en fait je suis certain qu'on peut atteindre, un niveau bien plus sûr qu'un humain avec un contrôle et une planification principalement en C, combinés à de la perception, de la vision et des réseaux de neurones.
Audience
Bonjour, ma question est la suivante : nous avons vu d'autres entreprises utiliser par exemple l'apprentissage par renforcement et le machine learning pour optimiser la consommation d'énergie des centres de données et toutes sortes d'autres processus internes. Ma question est : Tesla utilise-t-elle le machine learning dans la conception de sa fabrication ou dans d'autres processus d'ingénierie ?
Je déconseille l'utilisation du machine learning, car c'est vraiment difficile. À moins que vous ne soyez réellement obligé d'utiliser le machine learning, ne le faites pas. C'est généralement un signal d'alarme quand quelqu'un dit : on veut utiliser le machine learning pour résoudre cette tâche. Je me dis : ça sonne comme des conneries. Donc dans 99,9 % des cas, vous n'en avez pas besoin. Donc oui, c'est un peu comme si on se tournait vers le machine learning seulement quand c'est nécessaire, mais je n'ai jamais trouvé que c'était simple ou pratique à faire. C'est quelque chose d'extrêmement difficile à faire. Cela pourrait changer si vous avez un robot humanoïde capable, vous savez, de comprendre des instructions normales. Mais oui, en général, on minimise l'utilisation du machine learning dans l'usine.
Audience
Salut. D'après vos vidéos du simulateur, cela ressemblait à une combinaison d'approches graphiques et neuronales. Je suis curieux de connaître l'ensemble des techniques sous-jacentes utilisées pour votre simulateur, et plus particulièrement pour le rendu neuronal.
Tesla engineer
Si vous pouvez le partager. Oui, donc à la base de la pile, voici ce que nous faisons. Ce sont simplement des techniques de jeu traditionnelles, de la rasterisation en temps réel, vous savez, très similaire à ce que vous auriez vu, comme dans GTA. Par-dessus cela, nous faisons du ray tracing en temps réel. Et ces résultats-là étaient vraiment tout frais. Enfin, on a ce petit astérisque en bas qui précise que c'était d'hier soir. Nous nous aventurons dans le domaine du rendu neuronal. Nous essayons tout un tas de choses différentes. Nous voulons arriver au point où le rendu neuronal n'est que la cerise sur le gâteau. Cela pousse les choses jusqu'au point où les modèles ne pourront jamais faire de surapprentissage sur notre simulateur. Actuellement, nous faisons des choses similaires à l'amélioration du photoréalisme. Il y a un article récent intitulé « Enhancing Photorealism Enhancement ». Mais nous pouvons faire beaucoup plus que ce qu'ils ont fait dans cet article, car nous disposons de bien plus de données annotées, de bien plus de puissance de calcul, et aussi beaucoup. Nous avons bien plus de contrôle sur les environnements, et nous avons aussi beaucoup de gens capables de nous aider à faire fonctionner cela en temps réel. Mais nous allons essayer tout ce que nous pouvons faire pour arriver au point où nous pourrions tout entraîner uniquement avec le simulateur si nous y étions obligés, mais nous n'y serons jamais obligés, car nous disposons d'une quantité de données du monde réel que personne d'autre ne possède. Il s'agit juste de combler les petites lacunes du monde réel.
Oui, enfin, le simulateur est très utile pour ces cas rares, comme par exemple l'évitement de collision juste avant un accident. Et ironiquement, plus nos voitures deviennent douées pour éviter les accidents, moins il y a d'accidents. Donc notre jeu d'entraînement devient petit. Alors il faut les faire s'écraser dans la simulation. C'est un peu comme : d'accord, minimiser le risque de blessure pour les piétons et les occupants de la voiture. Vous avez cinq mètres, vous roulez à, disons, 20 mètres par seconde. Quelles actions minimiseraient la probabilité de blessure ? On peut faire tourner ça dans certains. Des voitures roulant à contre-sens sur l'autoroute. Ce genre de chose arrive de temps en temps, mais pas si souvent.
Audience
Dans le contexte de votre robot humanoïde, je me demande si vous avez déjà décidé des cas d'usage par lesquels vous allez commencer, et quels sont les grands défis à relever pour rendre cela viable.
Eh bien, je pense que pour l'humanoïde, pour le Tesla Bot Optimus, cela va essentiellement commencer par s'occuper des tâches ennuyeuses, répétitives et dangereuses. En gros, quel est le travail que les gens aimeraient le moins faire ?
Audience
Salut. Donc, une question rapide sur vos simulations. Elles ne sont évidemment pas parfaites pour l'instant, donc utilisez-vous des techniques d'adaptation de domaine pour combler l'écart entre vos données simulées et vos données réelles ? Parce que j'imagine qu'il est plutôt dangereux de déployer des modèles entraînés uniquement sur des données simulées. Donc peut-être une forme explicite d'adaptation de domaine, ou quelque chose du genre. Est-ce que cela se produit à un moment dans votre pipeline ?
Tesla engineer
Donc actuellement, enfin, nous produisons les vidéos directement à partir du simulateur. Les clips complets avec la cinématique et tout, et ensuite on les utilise immédiatement pour l'entraînement. Mais ce n'est pas l'ensemble du jeu de données. C'est juste un petit segment ciblé, et nous ne faisons l'évaluation que sur des vidéos du monde réel. Nous faisons très attention à ne pas faire de surapprentissage. Et si nous devons commencer à faire des choses plus sophistiquées, nous le ferons. Mais actuellement, nous n'avons pas de problème de surapprentissage sur le simulateur. Cela arrivera à mesure que nous augmentons le volume de données, et c'est là que nous espérons utiliser le rendu neuronal pour combler cet écart et repousser encore ce seuil. Nous avons déjà fait des choses où nous utilisons les mêmes réseaux que dans la voiture, mais réentraînés pour détecter si c'est de la simulation ou du réel, afin de guider nos décisions artistiques. Et cela a effectivement aidé à éviter certains de ces problèmes aussi.
Oui. Juste pour souligner que l'immense majorité du jeu de données est constituée de vraies vidéos prises par les voitures sur la route réelle. Rien n'est plus étrange ni ne comporte plus de cas limites que la réalité. Ça devient vraiment bizarre, là-bas, sur la route. Mais ensuite, si nous trouvons par exemple quelques exemples de quelque chose de très étrange, et que nous avons vu des images vraiment bizarres, alors, pour entraîner le système efficacement, nous voulons créer des simulations, disons 1 000 simulations, qui sont des variantes de cette anomalie que nous avons observée, afin de combler des lacunes importantes et d'améliorer le système. Et en réalité, tout cela vise, avec le temps, à simplement réduire la probabilité d'un accident ou d'une blessure. Et la marche des neuf, c'est-à-dire : comment atteindre un taux de sécurité de 99,99999999 % ? Vous savez, et ça. Oui, chaque neuf représente une augmentation de la difficulté d'un ordre de grandeur.
Audience
Merci beaucoup pour la présentation. J'étais curieux à propos du Tesla Bot en particulier. Je me demande s'il existe des applications spécifiques auxquelles vous pensez que la forme humanoïde se prête particulièrement bien. Et ensuite, deuxième point : étant donné sa forme humaine, avez-vous envisagé, même un peu, un aspect émotionnel ou une composante de compagnie dans la feuille de route du produit ?
Nous espérons vraiment que cela ne finira pas dans un film de science-fiction dystopique. Mais vous savez, pour l'instant, on se dit simplement que ce robot pourrait tout simplement. On essaie, on essaie d'être aussi littéral que possible. Peut-il faire des travaux ennuyeux, dangereux et répétitifs que les gens ne veulent pas faire ? Et vous savez, une fois qu'il peut faire ça, alors peut-être qu'il pourra faire d'autres choses aussi. Mais c'est ça, c'est la chose qu'il serait vraiment formidable d'avoir. Donc il pourrait aussi être votre copain. Je veux dire, achetez-en un et faites-en votre ami, et, et peu importe quoi d'autre. Je suis certain que les gens trouveront des usages très créatifs.
Audience
Donc. Tout d'abord, merci pour cette présentation vraiment incroyable. Ma question porte sur le volet IA. Donc une chose que nous avons observée, c'est que pour certaines de ces IA de modélisation du langage, la mise à l'échelle a eu un impact incroyable sur leurs capacités et sur ce qu'elles sont capables de faire. Je me demandais donc si vous observiez des effets similaires de la mise à l'échelle sur vos réseaux de neurones et vos applications. Absolument. Un réseau plus grand, en général, on constate qu'il fonctionne mieux, à condition d'avoir aussi les données nécessaires pour l'entraîner. Et c'est aussi ce que nous constatons nous-mêmes, clairement, dans la voiture. Nous devons tenir compte de certaines contraintes de latence. Et donc là, nous devons faire preuve de créativité pour pouvoir réellement déployer des réseaux beaucoup, beaucoup plus grands. Mais comme nous l'avons mentionné, nous n'entraînons pas des réseaux de neurones uniquement pour ce qui va dans la voiture. Nous avons ces pipelines d'auto-étiquetage qui peuvent utiliser des modèles de taille arbitraire. En fait, nous entraînons un certain nombre de modèles qui ne sont pas déployables, qui sont nettement plus grands et qui fonctionnent beaucoup mieux, car nous voulons une précision bien plus élevée pour l'auto-étiquetage. Et donc nous avons fait beaucoup de cela. Et là, nous constatons clairement cette tendance.
Oui, l'auto-étiquetage est une partie extrêmement importante de toute cette situation. Sans l'auto-étiquetage, je pense que nous ne serions pas capables de résoudre le problème de la conduite autonome.
C'est une forme assez amusante de distillation, où l'on utilise ces modèles très massifs ainsi que la structure du problème pour effectuer cette reconstruction, puis on distille cela dans des réseaux de neurones que l'on déploie dans la voiture. Mais en gros, nous avons beaucoup de réseaux de neurones et beaucoup de tâches qui ne sont jamais destinées à aller dans la voiture.
Et aussi, avec le temps, on reçoit de nouvelles images d'information. Donc on veut vraiment s'assurer que la puissance de calcul est répartie sur l'ensemble des informations, plutôt que de prendre une seule image et de s'acharner sur elle pendant, disons, 200 millisecondes. En réalité, de nouvelles images arrivent en permanence. Donc on veut utiliser toute l'information, et pas seulement cette seule image.
Je pense qu'une des choses que nous observons, c'est que la capacité de prédiction de la voiture est étonnamment bonne. Elle devient vraiment meilleure qu'un humain pour prédire, comme vous dites, par exemple quoi ? Prédire à quoi cette route va ressembler quand elle sort de son champ de vision. Par exemple, juste après le virage, elle prédit la route avec une très grande précision, et elle prédit aussi les piétons ou les cyclistes qui sont cachés, là où elle ne voit qu'un petit coin du vélo et un petit bout à travers les fenêtres du bus. Sa capacité à prédire les choses va être bien meilleure que celle des humains, vraiment largement, largement supérieure. N'est-ce pas ?
Oui. On voit souvent ça : il y a quelque chose qui n'est pas visible, mais le réseau de neurones invente des éléments qui s'avèrent en fait très cohérents. Parfois c'est tellement bon que ça fait presque peur, et on se demande : ça ne fait pourtant pas partie de l'ensemble d'entraînement. Et en fait, à la limite, on peut imaginer que le réseau de neurones a assez de paramètres pour potentiellement mémoriser la Terre entière. Donc à la limite, il pourrait vraiment vous donner la bonne réponse, et c'est un peu comme une carte HD intégrée directement dans les poids du réseau de neurones. Oui. J'ai une question sur la conception du robot Tesla. Plus précisément, à quel point est-il important de conserver cette forme humanoïde ? Construire des mains à cinq doigts qui respectent aussi les contraintes de poids pourrait être assez difficile. Il faudrait peut-être utiliser un système à câbles, et ça pose aussi toutes sortes de problèmes.
Enfin, ça sera la version un du robot. On verra bien. Il doit donc être capable de faire ce que font les humains et être un robot humanoïde généraliste. Enfin, on pourrait lui donner, disons, deux doigts et un pouce, ou quelque chose comme ça. Pour l'instant, on va lui donner cinq doigts et voir si ça fonctionne bien, d'accord ? Ça devrait probablement marcher. Il n'a pas besoin d'avoir une force de préhension incroyable, mais il doit pouvoir manier des outils, porter un sac, ce genre de choses.
Audience
D'accord, merci beaucoup pour la présentation. Un ancien professeur m'a dit que ce qu'il n'aimait pas du tout dans sa Tesla, c'était que l'interface de l'Autopilot n'inspirait pas vraiment confiance dans le système. Surtout quand les objets se mettent à tourner sur eux-mêmes et que les classifications clignotent. Je me demandais, même si vous avez un bon système de conduite autonome, comment faites-vous pour convaincre les propriétaires de Tesla, les autres usagers de la route et le grand public que votre système autonome est sûr et fiable ?
Eh bien, je pense que ce sont les voitures elles-mêmes qui le montrent. Il y a quelque temps, les voitures avaient tendance à tourner sur elles-mêmes dans l'affichage, elles ne le font plus. Si vous avez vu les vidéos de la bêta FSD, elles sont plutôt solides, et elles vont devenir encore plus solides.
Oui. Au fur et à mesure qu'on ajoute de plus en plus de données et qu'on entraîne ces réseaux multi-caméras. Ils sont en fait plutôt bons. Ça n'a que quelques mois et ça continue de s'améliorer, ce n'est pas un produit fini, et on voit clairement que ça va devenir un domaine quasiment parfait. Parce que, pourquoi pas, toute l'information est déjà présente dans les vidéos. Ça devrait produire de bons résultats si on a beaucoup de données et de bonnes architectures. Et ce n'est qu'un point intermédiaire dans la chronologie.
Enfin, c'est clairement en train d'évoluer vers quelque chose de bien meilleur que l'humain, sans aucun doute.
Audience
À mon tour. Oh, salut. Ici. Je me demandais si vous pouviez parler un peu de l'économie à court et moyen terme du robot. Je crois comprendre la vision à long terme de remplacer le travail physique, mais je pense aussi que les tâches répétitives, dangereuses et ennuyeuses ont tendance à ne pas être très bien rémunérées. Et donc je ne vois pas vraiment comment reproduire ça. Vous savez, commencer par une supercar et
ensuite percer sur un segment de marché plus accessible. Comment fait-on ça pour un robot ? Humanoïde ? Eh bien, je suppose qu'il va falloir voir.
Audience
Bonjour. Salut. J'étais curieux de savoir comment l'IA de la voiture hiérarchise la sécurité des occupants par rapport à celle des piétons, et quel raisonnement entre en jeu pour
décider comment intégrer ça dans l'IA. Eh bien, enfin, nous... Ce qu'il faut comprendre, c'est que du point de vue de l'ordinateur, tout bouge lentement. Donc, pensez-y : pour un humain, les choses bougent vite. Pour l'ordinateur, elles ne bougent pas vite. Donc je pense qu'en réalité, c'est un peu une fausse dichotomie. Pas que ça n'arrivera jamais, mais ça sera très rare. Si vous pensez à l'inverse, par exemple au rendu avec du ray tracing complet, des graphismes améliorés par réseau de neurones sur un jeu comme Cyberpunk, ou n'importe quel jeu vidéo avancé, à 60 images par seconde, parfaitement rendu. Combien de temps faudrait-il à une personne pour simplement rendre une seule image, et sans aucune erreur ? C'est impossible. Enfin, il faudrait environ un mois juste pour rendre une seule image sur les 60 par seconde d'un jeu vidéo. C'est... Les ordinateurs sont rapides et les humains sont lents. Enfin, par exemple. Du côté des fusées, on ne peut pas piloter manuellement la fusée jusqu'en orbite. On a en fait branché un joystick pour voir si quelqu'un pouvait piloter la fusée jusqu'en orbite. Mais il faut réagir à environ 6, 7 hertz. Les gens n'y arrivent pas. Pas du tout. C'est pourtant assez bas. On vise plutôt quelque chose comme 30 Hz.
Audience
Salut. Avec le hardware 3, il y a eu beaucoup de spéculations sur le fait qu'avec des réseaux plus grands, il atteindrait les limites de ce qu'il peut offrir. Quelle marge de manœuvre les modes de calcul étendus ont-ils apportée, et à quel moment le hardware 4 serait-il nécessaire, si tant est qu'il le soit ?
Eh bien, je suis confiant que le hardware 3, ou full self-driving computer 1, sera capable d'atteindre la conduite entièrement autonome avec un niveau de sécurité bien supérieur à celui d'un humain. Probablement, je ne sais pas, au moins 200 ou 300 % meilleur qu'un humain. Ensuite, il y aura évidemment un futur hardware 4, ou full self-driving computer 2, qu'on introduira probablement avec le Cybertruck, donc peut-être dans un an environ. Donc celui-là sera probablement, enfin, environ quatre fois plus performant, à peu près. Mais en fait, la vraie question c'est, disons pour l'exemple, peut-on passer de 300 % plus sûr qu'une personne à 1000 % plus sûr ? Tout comme il y a des gens sur la route avec des niveaux de conduite très variables, mais on les laisse quand même conduire. On n'a pas besoin d'être le meilleur conducteur du monde pour avoir le droit de conduire. C'est ce qu'on observe. Donc, oui.
Audience
Est-ce que vous vous inquiétez, étant donné que la voiture n'a pas de capteurs de profondeur, que des gens puissent tenter des attaques adverses, comme des photos imprimées ou autre chose, pour essayer de tromper le réseau de neurones RGB ?
Oui. Comme quoi par exemple ? Faire un coup à la Vil Coyote, vous savez, genre peindre un tunnel sur un mur. Et là, oups. On n'a pas vraiment vu beaucoup de ça. Enfin, c'est certain. Par exemple, en ce moment, si vous aviez, très probablement, un t-shirt avec un panneau stop imprimé, et j'ai justement un t-shirt comme ça, et que vous le montriez brièvement à la voiture. Elle va, elle va s'arrêter. Je l'ai prouvé. Mais évidemment, à mesure qu'on observe ces attaques adverses, on peut entraîner les voitures à remarquer que, en fait, c'est juste une personne portant un t-shirt avec un panneau stop, donc ce n'est probablement pas un vrai panneau stop.
Audience
Bonjour, ma question porte sur la prédiction et la planification. Je suis curieux de savoir comment vous intégrez l'incertitude dans vos algorithmes de planification. Est-ce que vous supposez simplement, vous avez mentionné que vous faites tourner l'Autopilot pour toutes les autres voitures sur la route. Supposez-vous qu'elles vont toutes suivre ces règles, ou tenez-vous compte de la possibilité que, par exemple, ce soient de mauvais conducteurs ?
Oui, on tient compte des futurs multimodaux. Ce n'est pas qu'on en choisit un seul dont on tient compte. Cette personne peut en réalité faire plusieurs choses, et on utilise sa physique et sa cinématique réelles pour s'assurer qu'elle ne fait rien qui interférerait avec nous avant qu'on agisse. Donc s'il y a une incertitude, on reste prudent et on leur laisse la priorité. Bien sûr, il y a une limite à ça, parce que si on est trop prudent, ce n'est probablement plus praticable. Donc à un moment donné, il faut s'affirmer, et même là, on s'assure que l'autre personne peut nous céder le passage et agir de façon sensée.
Je devrais préciser qu'avant d'introduire quoi que ce soit dans la flotte, on le fait tourner en mode shadow. Et donc on va voir ce que, par exemple, ce réseau de neurones aurait fait dans cette situation précise. Et donc, en fait, ce sont les conducteurs qui l'entraînent. On entraîne le réseau. Donc si le réseau de neurones avait eu le contrôle, disons qu'il aurait, disons, viré à droite. À droite. Mais en réalité, la personne est allée à gauche, et là on se dit, oh, il y a eu une différence. Pourquoi y a-t-il eu cette différence ? Et deuxièmement, tous les conducteurs humains sont en fait en train d'entraîner le réseau de neurones sur ce qu'est la bonne action à adopter. À condition que ça ne finisse pas en accident, bien sûr, dans ce cas-là ça ne compte pas.
Et deuxièmement, on a diverses estimations d'incertitude, comme le scintillement. Et quand on observe ça, on se dit en fait qu'on n'arrive pas à voir quelque chose. On ralentit alors la voiture pour rester prudent et obtenir plus d'informations avant d'agir.
On ne veut pas être téméraire et s'engager dans quelque chose qu'on ne connaît pas. On ne s'engage que dans des endroits qu'on connaît déjà.
Oui, oui. Idéalement, la voiture devrait être telle que moins elle en sait, plus elle roule lentement.
Oui. Ce n'est pas vrai à partir d'un certain point, mais pour l'instant ça l'est.
Oui. La vitesse devrait être proportionnelle au niveau de confiance.
Audience
Merci pour la présentation. Je suis curieux : j'apprécie le fait que le FSD s'améliore, mais si vous ne pouviez améliorer qu'un seul composant de la pile d'IA présentée aujourd'hui, que ce soit la simulation, la collecte de données, la planification et le contrôle, etc. Lequel, selon vous, aurait le plus grand impact sur les performances du système de conduite entièrement autonome ?
C'est vraiment l'aire sous la courbe de ces multiples points, et si vous améliorez n'importe lequel, ça devrait améliorer l'aire totale.
À court terme, on pourrait dire qu'il faut que tous les réseaux fonctionnent en vidéo à 360 degrés, et on a encore quelques éléments hérités de l'ancien système. C'est vraiment à très court terme. On règle évidemment ça rapidement, mais il y a encore des réseaux qui n'utilisent pas la vidéo à 360 degrés, et dans l'idéal, ils devraient tous l'utiliser.
Oui, je pense qu'il y a beaucoup de pièces du puzzle à assembler pour réussir. On a juste besoin de plus de gens compétents pour nous aider à faire que ça fonctionne.
Oui, c'est vraiment le véritable goulot d'étranglement.
C'est le véritable goulot d'étranglement, je dirais. Et c'est vraiment l'une des raisons pour lesquelles on organise cet événement.
Exactement. Bien dit, Andrej, il y a tout simplement une quantité énorme de travail à faire pour. Faire que ça fonctionne. C'est pourquoi on a besoin de personnes talentueuses qui nous rejoignent pour résoudre ce problème.
Audience
Merci pour cette excellente présentation. Beaucoup de mes questions ont trouvé une réponse. Mais il y a un point : imaginez que vous disposiez maintenant d'une grande quantité de données, même inutiles. Comment prenez-vous en compte le fait qu'il existe un problème d'oubli dans les réseaux de neurones ? Comment prenez-vous en compte ces aspects ? Et aussi une autre question : envisagez-vous un apprentissage en ligne ou un apprentissage continu, pour que peut-être chaque conducteur puisse avoir son
version du logiciel de conduite autonome ? Je pense connaître la littérature à laquelle vous faites référence. Ce ne sont pas certains des problèmes que nous avons rencontrés. Et nous n'avons pas fait beaucoup d'apprentissage continu. Nous entraînons le système une fois, nous l'affinons quelques fois, et c'est en gros ce qui va dans la voiture. Nous avons besoin de quelque chose de stable que nous puissions évaluer de manière approfondie, et une fois que nous pensons que c'est bon, cela va dans les voitures. Donc nous ne faisons pas trop d'apprentissage sur le moment ou d'apprentissage continu, et nous ne sommes pas confrontés au problème de l'oubli.
Mais il y aura des paramètres où vous pourrez dire, par exemple, si vous êtes plutôt un conducteur prudent ou si vous voulez conduire vite ou lentement. Vous savez, c'est comme, je suis en retard pour... Allez, je suis en retard pour l'aéroport. Pourriez-vous aller plus vite, vous savez, en gros le genre d'instructions que vous donneriez à votre chauffeur Uber. C'est comme, je suis en retard pour mon vol. Dépêchez-vous s'il vous plaît, ou prenez votre temps, ou peu importe votre style. Alors prenons encore quelques questions. Et ensuite nous en resterons là pour aujourd'hui. Très bien.
Audience
Alors, comme nos modèles sont devenus de plus en plus performants et que vous déployez, j'imagine, ces modèles dans le monde réel, une chose qui pourrait arriver, je suppose, c'est que l'IA devienne de plus en plus désalignée par rapport à ce que les humains désirent. Donc je me demande si c'est quelque chose qui vous inquiète à mesure que vous déployez de plus en plus de robots, ou est-ce plutôt du genre, on résoudra ce problème quand on y sera confronté.
Oui, je pense que nous devrions nous inquiéter de l'IA dès maintenant. Ce que nous essayons de faire ici, c'est, je dirais, une IA restreinte. Assez restreinte. Juste faire en sorte que la voiture conduise mieux qu'un humain, puis que le robot humanoïde soit capable de faire des tâches basiques, vous voyez. Donc, à partir du moment où l'on commence à atteindre une intelligence surhumaine, je ne sais pas, tout devient imprévisible. Mais vous savez, et ça, ça arrivera probablement. Mais ce que nous essayons de faire ici chez Tesla, c'est créer une IA utile que les gens aiment et qui soit indéniablement bénéfique. C'est notre, vous savez, c'est ce vers quoi nous allons essayer de viser. Peut-être une dernière question.
Audience
Bonjour, ma question concerne le capteur de la caméra. Au début de la présentation, vous avez mentionné la construction d'un animal synthétique. Et si on y réfléchit, une caméra est une très mauvaise approximation de l'œil humain. Et l'œil humain fait bien plus que capturer une séquence d'images. Est-ce que vous vous êtes penchés sur, par exemple, les caméras événementielles qui existent aujourd'hui ? Vous êtes-vous penchés sur ce sujet ? Ou envisagez-vous une conception de caméra plus flexible, ou par exemple de construire votre propre caméra ?
Eh bien, avec le Hardware 4, nous aurons une caméra de nouvelle génération, mais je dois dire que, concernant les caméras actuelles, nous n'avons pas atteint leur limite. Donc. Et je suis convaincu que nous pouvons atteindre la conduite entièrement autonome avec une sécurité bien supérieure à celle des humains, avec les caméras actuelles et le matériel de calcul actuel. Mais vous savez, ce serait bien d'être 1000 % meilleur plutôt que 300 % meilleur. Donc nous verrons une évolution continue à tous les niveaux dans la poursuite de cet objectif. Et je pense que dans le futur, les gens se retourneront et diront, waouh, je n'arrive pas à croire qu'on devait conduire ces voitures nous-mêmes. Vous savez, les voitures autonomes seront juste normales, comme les ascenseurs automatiques. Vous savez, les ascenseurs avaient autrefois des opérateurs, il y avait quelqu'un là avec un gros levier, un gros interrupteur à relais, qui faisait fonctionner l'ascenseur, et de temps en temps ils se fatiguaient ou faisaient une erreur, et bien sûr, ça pouvait couper quelqu'un en deux. Alors maintenant, vous savez, on a rendu les ascenseurs automatiques, et vous entrez, vous appuyez sur le bouton, vous pouvez être dans un gratte-ciel de cent étages et ne pas vraiment vous en inquiéter, vous entrez simplement, vous appuyez sur un bouton et l'ascenseur vous emmène là où vous voulez aller. Mais autrefois, tous les ascenseurs étaient actionnés manuellement, et ce sera la même chose pour les voitures, toutes les voitures seront automatiques et aussi électriques, évidemment. Donc il y aura encore quelques voitures à essence et quelques voitures à conduite manuelle, tout comme il reste encore quelques chevaux. Donc. Très bien, merci à tous d'être venus, j'espère que vous avez apprécié la présentation, et merci pour ces excellentes questions. Sa.