Tesla AI Day 30 septembre 2022 Tesla AI Day 2022 : le premier prototype mobile du robot humanoïde Optimus, ainsi que les avancées sur le Full Self-Driving et le supercalculateur Dojo.
Tesla AI Day 2022 : le premier prototype mobile du robot humanoïde Optimus, ainsi que les avancées sur le Full Self-Driving et le supercalculateur Dojo.
Transcription Transcription complète sur gist.github.com → Très bien, bienvenue à tous. Donnez à chacun un moment pour retourner au public et très bien, super. Bienvenue au Tesla AI Day 2022. Nous avons des choses vraiment passionnantes à vous montrer. Je pense que tu seras assez impressionné. Je veux définir quelques attentes concernant notre robot Optimus. Comme tu sais, l'année dernière c'était juste une personne dans un costume de robot. Mais nous avons fait du chemin et c'est, je pense, tu sais, comparé à cela, c'est va être très impressionnant. Et nous allons parler des avancées en IA pour la conduite autonome complète ainsi que de la façon dont elles s'appliquent de manière plus générale aux problèmes réels de l'IA comme un robot humanoïde. Et même au-delà, je pense qu'il y a un potentiel que ce que nous faisons ici chez Tesla pourrait faire une contribution significative à l'AGI. Et je pense que Tesla est en fait une bonne entité pour le faire d'un point de vue gouvernance parce que nous sommes une entreprise cotée en bourse avec une seule classe d'actions et cela signifie que le public contrôle Tesla. Et je pense que c'est en fait une bonne chose. Donc si je deviens fou, tu peux me renvoyer. C'est important. Peut-être que je suis devenu fou. Je ne sais pas. Donc oui, nous allons parler beaucoup de nos progrès en IA autopilot ainsi que du progrès avec Dojo. Et ensuite nous allons amener l'équipe et faire un long Q&A. Donc vous pouvez poser des questions difficiles,
tu voudrais, des questions existentielles, des questions techniques, mais nous voulons avoir autant de temps pour Q&A que possible. Voyons donc avec cela. Vous voulez.
Hé gars, je suis Milan. Je travaille sur Autopilot et la Tesla.
Et je suis Lizzy, ingénieur mécanique sur le projet aussi.
D'accord, devrions-nous amener le robot ?
Avant cela, nous avons un petit conseil bonus pour la journée. C'est en fait la première fois que nous essayons ce robot sans aucun soutien de secours. Des grues, des mécanismes mécaniques, pas de câbles, rien.
Oui, je veux le faire avec toi
ce soir, mais c'est la première fois.
Eric (Tesla)
Je pense que le robot a une paire ici.
Tesla Presenter
C'est donc essentiellement le même auto
ordinateur que vous utilise votre Tesla.
C'est littéralement la première fois que le robot a fonctionné sans attache était sur scène ce soir. Donc le robot peut en fait faire beaucoup plus que ce que nous venons de vous montrer. Nous ne voulions simplement pas qu'il tombe sur sa face. Nous vous montrerons donc maintenant des vidéos du robot qui fait un tas d'autres choses.
Qui sont moins risqués. Oui.
Nous devrions fermer l'écran, les gars.
Nous voulions montrer un peu plus ce que nous avons fait ces derniers
Eric (Tesla)
mois avec le pod et simplement
marcher et danser sur scène. Juste des débuts modestes. Mais vous pouvez voir les réseaux de neurones de l'autopilot qui s'exécutent comme ils sont, simplement réentraînés pour le bot directement sur cette nouvelle plateforme. C'est mon arrosoir.
Oui. Quand tu, quand tu vois une vue rendue, c'est, c'est le robot. C'est quoi, c'est le monde que le robot voit. Donc c'est, c'est très clairement identifier des objets. Comme ceci est l'objet qu'il devrait ramasser. Le ramasser. Oui.
Nous utilisons le même processus que nous avons utilisé pour l'autopilot pour collecter des données dans les réseaux de neurones d'entraînement que nous déployons ensuite sur le robot. C'est un exemple qui illustre l'upper
Quelque chose que nous essayons de maîtriser dans quelques mois. Au cours des prochains mois, je dirais à la perfection.
C'est vraiment une station réelle dans l'usine de Fremont aussi où elle travaille.
Et ce n'est pas la seule chose que nous devons montrer aujourd'hui, non ?
Oui, absolument. Ce que vous avez vu c'est ce que nous appelons Bumble C, c'est notre genre de robot de développement brut utilisant des actionneurs semi off-the-shelf. Mais nous sommes en fait allés un peu plus loin que cela. L'équipe a fait un travail incroyable et nous avons en fait un bot Optimus avec des actionneurs entièrement conçus et construits par Tesla, un système de contrôle de batterie, tout. Ce n'était pas tout à fait prêt à marcher, mais je pense qu'il marchera dans quelques semaines. Mais nous voulions te montrer le robot quelque chose qui est en fait assez proche de ce qui entrera en production et te montrer toutes les choses qu'il peut faire. Donc, apportons-le. Fais le,
Ici vous voyez Optimus avec
degrés de liberté que nous attendons avoir dans la première unité de production Optimus, ce qui est la capacité de déplacer tous les doigts indépendamment, pour avoir le pouce avec deux degrés de liberté. Donc il a des pouces opposables et les deux mains gauche et droite. Il peut donc opérer des outils et faire des choses utiles. Notre objectif est de faire un robot humanoïde utile aussi rapidement que possible. Et nous l'avons aussi conçu en utilisant la même discipline que nous utilisons pour concevoir la voiture, c'est-à-dire le concevoir pour la fabrication de telle sorte qu'il est possible de fabriquer le robot en grand volume à faible coût avec une haute fiabilité. C'est donc incroyablement important. Je veux dire que vous voyez beaucoup de démonstrations de robots humanoïdes très impressionnants, et c'est super, mais qu'est-ce qu'ils manquent ? Ils manquent un cerveau. Ils n'ont pas l'intelligence pour naviguer dans le monde par eux-mêmes. Et ils sont aussi très chers et fabriqués en petit volume, tandis que Optimus est conçu pour être un robot extrêmement capable, mais fabriqué en très grand volume, probablement finalement des millions d'unités. Et il est prévu qu'il coûte beaucoup moins qu'une voiture. Je vais juste l'apporter directement ici. Je dirais probablement moins de 20 000 dollars serait ma supposition. Le potentiel pour optimistes est, je pense, apprécié par très peu de gens.
comme d'habitude, les démos Tesla arrivent chaud. Donc.
Tesla Presenter
D'accord, c'est bien, c'est bien.
Oui. L'équipe a mis. L'équipe a fourni une quantité de travail incroyable. Travail, tu sais, sept jours par semaine, brûler de l'huile à 3 h du matin pour arriver à la démonstration d'aujourd'hui. Super fier de ce qu'ils ont fait. Ils ont vraiment bien fait. Je aimerais juste applaudir toute l'équipe Optimus. Donc, tu sais, il y a toujours beaucoup de travail à faire pour affiner Optimus et l'améliorer. Évidemment, c'est juste Optimus version un, et c'est vraiment pourquoi nous tenons cet événement, qui est de convaincre certaines des personnes les plus talentueuses du monde, comme vous, de rejoindre Tesla et d'aider à en faire une réalité et à la concrétiser à l'échelle pour qu'elle puisse aider des millions de personnes. Et le potentiel, comme je l'ai dit, épate vraiment l'esprit parce que vous devez dire, comme, qu'est-ce qu'une économie ? Une économie est une sorte d'entités productives. Multiplié par la productivité par capita multiplié par la productivité de sortie par capita. Au point où il n'y a pas de limitation sur le capita, il n'est pas clair ce qu'une économie signifie à ce moment. Une économie devient quasi infinie. Donc quoi, tu sais, porté à fruition dans le scénario bénin espéré, cela signifie un avenir d'abondance, un avenir où il n'y a pas de pauvreté, où les gens, tu peux avoir tout ce que tu veux en termes de produits et de services. C'est vraiment une transformation fondamentale de la civilisation telle que nous la connaissons. Évidemment, nous voulons nous assurer que cette transformation est positive et sûre. Mais c'est aussi pourquoi je pense que Tesla en tant qu'entité qui le fait, étant une seule classe d'actions, cotée en bourse, détenue par le public, est très importante et ne devrait pas être négligée. Je pense que c'est essentiel parce que si le public n'aime pas ce que Tesla fait, le public peut acheter des actions Tesla et voter différemment. C'est un grand chose. Comme, c'est très important que je ne peux pas juste faire ce que je veux. Tu sais, parfois les gens pensent, mais ce n'est pas vrai.
tu sais, il est très important que l'entité corporative qui, qui fait cela se passer est quelque chose que le public peut correctement influencer. Et je pense donc que la structure Tesla est idéale pour cela. Comme je l'ai dit, les voitures autonomes auront certainement un impact énorme sur le monde. Je pense qu'ils amélioreront la productivité des transports d'au moins un demi-ordre de grandeur, peut-être un ordre de grandeur, peut-être plus. Optimus a, je pense, peut-être une amélioration potentielle de deux ordres de grandeur en production économique. Il n'est pas clair ce que cela signifie vraiment. Mais nous devons le faire de la bonne façon. Nous devons le faire avec soin et sécurité et assurer que le résultat est bénéfique à la civilisation et que l'humanité veut. C'est aussi extrêmement important, évidemment. Donc, et j'espère que tu envisageras de rejoindre Tesla pour atteindre ces objectifs. Chez Tesla, nous tenons vraiment à faire la bonne chose ici ou aspirons à faire la bonne chose et ne pavons vraiment pas la route de l'enfer avec de bonnes intentions. Et je pense que la route de l'enfer est surtout pavée de mauvaises intentions. Mais de temps en temps, il y a une bonne intention là-dedans. Donc nous voulons le faire, faire la bonne chose. Donc, tu sais, envisage de nous rejoindre et d'aider à le rendre réalité. Avec cela, passons à la phase suivante.
C'est cela. Merci, Elon. D'accord, tu as vu quelques robots aujourd'hui. Faisons un bref récapitulatif chronologique. L'année dernière, nous avons présenté le concept du robot Tesla. Mais un concept ne nous mène pas très loin. Nous savions que nous avions besoin d'une véritable plateforme de développement et d'intégration pour acquérir des connaissances pratiques aussi rapidement que possible. Ce robot qui est sorti et a fait la petite démonstration pour vous, nous l'avons construit en six mois. Travail sur l'intégration logicielle et les mises à niveau matérielles au cours des mois suivants. Mais en parallèle, nous avons aussi conçu la prochaine génération. Celle-ci ici. Ce robot est donc fondé sur la base du processus de conception de véhicules. Vous savez, nous tirons parti de tous ces apprentissages que nous avons déjà. Évidemment, beaucoup de choses ont changé depuis l'année dernière, mais quelques éléments restent les mêmes. Vous remarquerez que nous gardons toujours cet accent très détaillé sur la vraie forme humaine. Nous pensons que c'est important pour plusieurs raisons, mais c'est amusant. Nous passons beaucoup de temps à réfléchir à combien le corps humain est incroyable. Nous avons cette incroyable amplitude de mouvement, généralement une force vraiment incroyable. Un exercice amusant est de mettre le bout de votre doigt sur la chaise devant vous, vous remarquerez qu'il y a une énorme amplitude de mouvement dans votre épaule et votre coude, par exemple, sans bouger votre doigt, vous pouvez bouger ces articulations partout. Mais le robot, vous savez, sa fonction principale est d'accomplir un vrai travail utile et il n'a peut-être pas besoin de tous ces degrés de liberté tout de suite. Nous l'avons donc réduit à un minimum, environ 28 degrés de liberté fondamentaux. Et puis bien sûr, nos mains, en plus de cela, les humains sont aussi assez efficaces dans certaines choses et pas tellement efficaces à d'autres moments. Par exemple, nous pouvons manger une petite quantité de nourriture pour nous sustenter pendant plusieurs heures. C'est magnifique. Mais quand nous restons assis, sans offense, nous sommes plutôt inefficaces, nous brûlons juste de l'énergie. Sur la plateforme robotique, ce que nous allons faire est de minimiser cette consommation électrique au repos, la réduire au minimum possible, et de cette façon, nous pouvons simplement appuyer sur un interrupteur et immédiatement le robot se transforme en quelque chose qui fait un travail utile. Parlons donc de cette dernière génération en détail, d'accord? Sur l'écran ici, vous verrez en orange nos actionneurs, dont nous parlerons un peu plus tard, et en bleu, notre système électrique. Maintenant que nous avons notre recherche basée sur l'homme et nous avons notre première plateforme de développement, nous avons à la fois la recherche et l'exécution dont tirer.
Encore une fois, nous utilisons cette base de conception de véhicules. Nous le prenons donc du concept à la conception et à l'analyse, puis à la construction et à la validation. En chemin, nous allons optimiser pour des choses comme le coût et l'efficacité, car ce sont des métriques critiques pour amener ce produit à l'échelle finalement. Comment allons-nous faire? Eh bien, nous allons réduire notre nombre de pièces et notre consommation d'énergie de tous les éléments possibles. Nous allons faire des choses comme réduire la détection et le câblage à nos extrémités. Vous pouvez imaginer qu'une grande partie de la masse dans vos mains et vos pieds sera assez difficile et consommatrice de puissance à déplacer. Et nous allons centraliser à la fois notre distribution d'énergie et notre calcul au centre physique de la plateforme. Donc au milieu de notre torse, en fait c'est le torse, nous avons notre batterie. Ceci est dimensionné à 2,3 kilowattheures, ce qui est parfait pour environ une journée de travail complète.
Ce qui est vraiment unique à propos de ce pack de batterie, c'est qu'il a tous les électroniques de batterie intégrés dans un seul PCB dans le pack. Cela signifie que tout, de la détection à la fusion, la gestion de la charge et la distribution d'énergie, est tout sur un, tout en un seul endroit. Nous tirons également parti à la fois de nos produits automobiles et de nos produits énergétiques pour intégrer toutes ces caractéristiques clés dans cette batterie. C'est donc une fabrication rationalisée, des méthodes de refroidissement très efficaces et simples, la gestion des batteries et aussi la sécurité. Et bien sûr, nous pouvons tirer parti de l'infrastructure existante de Tesla et de la chaîne d'approvisionnement pour la fabriquer. Donc, en parlant de notre cerveau, il n'est pas dans la tête, mais c'est assez proche. Aussi dans notre torse, nous avons notre ordinateur central. Vous savez, Tesla expédie déjà des ordinateurs de conduite autonome complète dans chaque véhicule que nous produisons. Nous voulons tirer parti à la fois du matériel du pilote automatique et du logiciel pour la plateforme humanoïde. Mais parce que c'est différent en exigences et en facteur de forme, nous allons d'abord changer quelques choses. Alors, nous allons toujours, il va faire tout ce qu'un cerveau humain fait, traiter les données de vision, prendre des décisions instantanées basées sur plusieurs entrées sensorielles, et aussi les communications. Donc, pour supporter les communications, il est équipé d'une connectivité sans fil ainsi que du support audio. Et puis il a aussi des fonctionnalités de sécurité au niveau du matériel qui sont importantes pour protéger à la fois le robot et les personnes autour du robot. Donc maintenant que nous avons notre sorte de noyau, nous allons avoir besoin de quelques membres sur ce gars. Et nous aimerions vous montrer un peu nos actionneurs et nos mains entièrement fonctionnelles aussi. Mais avant de faire cela, j'aimerais présenter Malcolm, qui va parler un peu de notre fondation structurelle pour le robot.
Tesla Presenter
Merci, Lizzie. Tesla a les capacités d'analyser des systèmes très complexes. Vous ne pouvez pas avoir beaucoup plus complexe qu'un crash. Vous pouvez voir ici un crash simulé du Model 3 superposé au-dessus du crash physique réel. C'est en fait incroyable à quel point c'est précis. Juste pour vous donner une idée de la complexité de ce modèle, il comprend chaque écrou, boulon et rondelle, chaque soudure par points, et il a 35 millions de degrés de liberté. Assez incroyable. Et c'est vrai de dire que si nous n'avions pas de modèles comme celui-ci, nous ne serions pas en mesure de fabriquer les voitures les plus sûres du monde. Pouvons-nous utiliser nos capacités et nos méthodes du côté automobile pour influencer un robot? Eh bien, nous pouvons faire un modèle. Et puisque nous avons un logiciel de crash, nous utilisons le même logiciel ici, nous pouvons le faire tomber. Le but de ceci est de s'assurer que s'il tombe, idéalement il ne le fait pas, mais c'est un dommage superficiel. Nous ne voulons pas, par exemple, casser sa boîte de vitesses et ses bras. C'est équivalent à une épaule disloquée d'un robot. Difficile et coûteux à réparer. Donc, nous voulions qu'il se secoue, continue avec le travail qu'on lui a donné. Nous pouvons également prendre le même modèle et nous pouvons piloter les actionneurs en utilisant les entrées d'un modèle précédemment résolu, le vivifiant. Donc, cela produit les mouvements pour les tâches que nous voulons que le robot fasse. Ces tâches sont cueillir des boîtes, tourner, faire des accroupissements, marcher dans les escaliers. Quel que soit l'ensemble des tâches, nous pouvons jouer au modèle. Ceci montre juste la marche simple. Nous pouvons créer les contraintes dans tous les composants. Cela nous aide à optimiser les composants. Ce ne sont pas des robots danseurs. Ce sont en réalité les modes de comportement modal, les cinq premiers modes du robot. Et généralement, quand les gens font des robots, ils s'assurent que le premier mode est en haut, chiffres simples jusqu'à 10 hertz. Qui le fait est de rendre les contrôles de marche plus faciles. C'est très difficile de marcher si vous ne pouvez pas garantir où votre pied oscille. C'est d'accord si vous faites un robot, nous voulons en faire des milliers, peut-être des millions. Nous n'avons pas le luxe de fabriquer à partir de fibre de carbone et de titane. Nous voulons les faire en plastique. Les choses ne sont pas tout à fait aussi rigides. Donc, nous ne pouvons pas avoir ces cibles élevées, je les appelle des cibles stupides. Nous devons les faire fonctionner à des cibles plus basses. Donc, cela va-t-il fonctionner? Eh bien, si vous y réfléchissez, désolé pour ça, mais nous sommes juste des sacs de gelée détrempée et d'os jetés dedans. Nous ne sommes pas haute fréquence. Si je me tiens debout sur ma jambe, je ne vibre pas à 10 hertz. Les gens opèrent à une basse fréquence. Donc, nous savons que le robot peut effectivement. Cela rend juste les contrôles plus difficiles. Donc, nous prenons les informations de ceci, les données modales et la rigidité, et les alimentons au système de contrôle qui lui permet de marcher. Juste en changeant de cap légèrement. En regardant le genou, nous pouvons tirer une certaine inspiration de la biologie et nous pouvons voir quel est l'avantage mécanique du genou. Il s'avère qu'il représente réellement quelque chose de similaire à quatre barres de liaison. Et c'est assez non linéaire. Ce n'est pas vraiment surprenant parce que si vous pensez quand vous pliez votre jambe vers le bas, le couple de votre genou est beaucoup plus quand il est plié que quand il est droit. Donc, vous vous attendriez à une fonction non linéaire. Et en fait, la biologie est non linéaire. Ceci le correspond assez précisément. C'est donc la représentation. La liaison à quatre barres n'est évidemment pas physiquement une liaison à quatre barres. Comme je l'ai dit, les caractéristiques sont similaires. Mais moi qui me penche, ce n'est pas très scientifique. Soyons un peu plus scientifiques. Nous avons joué toutes les tâches à travers ce graphique. Ceci montre cueillir des choses, marcher, faire des accroupissements, les tâches que j'ai dit que nous avons faites sur le stress. Et c'est le couple vu au genou contre la flexion du genou sur l'axe horizontal. Ceci montre l'exigence pour le genou de faire toutes ces tâches. J'ai ensuite mis une courbe à travers cela, surfant sur le sommet des pics. Et cela dit que c'est ce qui est nécessaire pour faire faire ces tâches au robot. Donc, si nous regardons le fil de quatre barres, c'est en réalité la courbe verte et elle dit que la non-linéarité de la liaison à quatre barres est en réalité linéarisée. La caractéristique de la force, ce que cela dit réellement, c'est que cela abaisse la force. C'est ce qui rend l'actionneur la force la plus basse possible, ce qui est le plus efficace. Nous voulons brûler l'énergie lentement. Quelle est la courbe bleue? Eh bien, la courbe bleue est en réalité si nous n'avions pas une liaison à quatre barres, nous avions juste un bras sortant de ma jambe ici avec un actionneur dessus, une simple liaison à deux barres. C'est le mieux que vous puissiez faire avec une simple liaison à deux barres. Et cela montre que cela créerait beaucoup plus de force dans l'actionneur ce qui ne serait pas efficace. Donc, à quoi cela ressemble-t-il dans la pratique? Eh bien, comme vous le verrez, c'est très étroitement emballé dans le genou. Vous le verrez devenir transparent en une seconde. Vous verrez la liaison à quatre barres là-bas. Il fonctionne sur l'actionneur. Ceci détermine la force et les déplacements sur l'actionneur. Je vous passe maintenant à Constantino pour vous dire beaucoup plus de détails sur la façon dont ces actionneurs sont fabriqués et les conceptions optimisées. Merci.
Tesla Presenter
Je voudrais donc vous parler du processus de conception et du portefeuille d'actionneurs dans notre robot. Il y a donc de nombreuses similarités entre une voiture et un robot en matière de conception de chaîne de transmission. La chose la plus importante qui compte ici est l'énergie, la masse et le coût. Nous reportons la plupart de notre expérience en matière de conception de la voiture au robot. Donc, dans le cas particulier que vous voyez une voiture avec deux unités d'entraînement et les unités d'entraînement sont utilisées pour accélérer le temps de voiture 0-60 mph ou conduire la taille de conduite en ville, tandis que le robot qui a 28 actionneurs, il n'est pas évident quelles sont les tâches au niveau du actionneur. Nous avons donc des tâches de niveau supérieur comme marcher ou grimper les escaliers ou porter un objet lourd qui doivent être traduites en articulation, en spécifications articulaires. Par conséquent, nous utilisons notre modèle qui génère les trajectoires de vitesse de couple pour nos articulations qui seront ensuite alimentées dans notre modèle d'optimisation. Pour passer par le processus d'optimisation. C'est l'un des scénarios que le robot est capable de faire, qui est de tourner et de marcher. Donc, quand nous avons cette trajectoire de vitesse de couple, nous avons superposé une carte d'efficacité d'un actionneur. Et nous sommes en mesure le long de la trajectoire de générer la consommation d'énergie et l'énergie, l'énergie cumulative pour la tâche par rapport au temps. Cela nous permet donc de définir le coût du système pour l'actionneur particulier et de mettre un simple point dans le nuage. Ensuite, nous faisons ceci pour des centaines de milliers d'actionneurs en résolvant dans notre cluster. Et la ligne rouge désigne le front de Pareto, qui est la zone préférée où nous cherchons l'optimal. Donc le X désigne la conception d'actionneur préférée que nous avons choisie pour cette articulation particulière. Donc maintenant, nous devons faire ceci pour chaque articulation. Nous avons 28 articulations à optimiser et nous analysons notre nuage. Nous analysons à nouveau notre nuage pour chaque spécification d'articulation. Et l'axe rouge, cette fois, désigne les conceptions d'actionneur sur mesure pour chaque articulation. Le problème ici est que nous avons trop de conceptions d'actionneurs uniques. Et même si nous prenons en compte la symétrie, il y en a encore trop. Pour rendre quelque chose fabriquable en masse, nous devons être capable de réduire le nombre de conceptions d'actionneurs uniques. Par conséquent, nous menons une étude appelée étude de commonalité, dans laquelle nous analysons à nouveau notre nuage, cherchant cette fois des actionneurs qui satisfont simultanément aux exigences de performance articulaire pour plus d'une articulation à la fois. Donc le portefeuille résultant est de six actionneurs et ils montrent dans une carte de couleurs dans la figure du milieu. Et les actionneurs peuvent également être vus dans cette diapositive. Nous avons trois actionneurs rotatifs et trois linéaires, qui ont tous une grande force de sortie ou un couple par masse. L'actionneur rotatif en particulier a un embrayage mécanique intégré du côté haute vitesse, un roulement à billes de contact angulaire et du côté haute vitesse et du côté basse vitesse, un roulement à rouleaux croisés. Et l'engrenage de la transmission est un engrenage à ondes de contrainte. Il y a trois capteurs intégrés ici et une machine à aimant permanent sur mesure, l'actionneur linéaire.
Tesla Presenter
L'actionneur linéaire a des rouleaux planétaires et une vis planétaire inversée comme transmission qui permet l'efficacité et la compaction et la durabilité. Donc, afin de démontrer la capacité de force de nos actionneurs linéaires, nous avons mis en place une expérience afin de la tester sous ses limites. Et je vais vous laisser profiter de la vidéo. Notre actionneur est donc capable de lever. Un demi-tonne de neuf pieds concert piano à queue. Et. C'est une exigence. Ce n'est pas quelque chose que c'est bien d'avoir parce que nos muscles peuvent faire la même chose quand ils sont entraînés directement, quand ils sont directement entraînés, ou les muscles quadriceps peuvent faire la même chose. C'est juste que le genou est un système de liaison d'engrenage qui convertit la force en vitesse au bout du pied de nos talons à des fins de donner de l'agilité au corps humain. C'est donc l'une des principales choses qui sont incroyables à propos du corps humain. Et je conclue ma partie à ce stade et j'aimerais accueillir mon collègue Mike, qui va vous parler de la conception des mains. Merci beaucoup. Merci Josephinos. Donc, nous venons de voir à quel point puissant un
Felix (Tesla)
un actionneur humain et humanoïde peut être. Cependant, les humains sont aussi incroyablement dextres. La main humaine a la capacité de se déplacer à 300 degrés par seconde. Elle a des dizaines de milliers de capteurs tactiles, et elle a la capacité de saisir et de manipuler presque tous les objets de notre vie quotidienne. Pour notre conception de main robotique, nous avons été inspirés par la biologie. Nous avons cinq doigts et un pouce opposable. Nos doigts sont entraînés par des tendons métalliques qui sont à la fois flexibles et forts. Nous avons la capacité de compléter des prises de puissance d'ouverture large tout en étant optimisés pour la préhension de précision de petits objets minces et délicats. Alors, pourquoi une main robotique de type humain? Eh bien, la principale raison est que nos usines et le monde qui nous entoure sont conçus pour être ergonomiques. Cela signifie donc que cela garantit que les objets de notre usine sont saisissables, mais cela garantit également que les nouveaux objets que nous n'avons peut-être jamais vus auparavant peuvent être saisis par la main humaine et par notre main robotique aussi. L'inverse là est assez intéressant car cela dit que ces objets sont conçus pour notre main au lieu de devoir apporter des modifications à notre main pour accompagner un nouvel objet. Quelques statistiques de base sur notre main est qu'elle a 6 actionneurs et 11 degrés de liberté. Elle a un contrôleur en main qui entraîne les doigts et reçoit les commentaires des capteurs. Les commentaires des capteurs sont vraiment importants pour en savoir un peu plus sur les objets que nous saisissons et aussi pour la proprioception. Et c'est la capacité pour nous de reconnaître où notre main est dans l'espace. L'un des aspects importants de notre main est qu'elle est adaptative. Cette adaptabilité est impliquée essentiellement comme des mécanismes complexes qui permettent à la main de s'adapter aux objets qui sont saisis. Une autre partie importante est que nous avons un doigt non rétractable. Ce mécanisme d'embrayage nous permet de tenir et de transporter les objets sans avoir à allumer les moteurs de la main. Vous venez d'entendre comment nous avons procédé, nous avons procédé à la conception du matériel du robot Tesla. Maintenant, je vais le passer à Milan et notre équipe d'autonomie pour donner vie à ce robot réel.
Très bien, donc toutes ces bonnes choses que nous avons montrées plus tôt dans la vidéo étaient possibles en l'espace de quelques mois. Grâce au travail incroyable que nous avons fait sur Autopilot au cours des dernières années. La plupart de ces composants ont été portés assez facilement dans l'environnement des bots. Si vous y réfléchissez, nous ne passons que d'un robot sur roues à un robot sur jambes. Donc, certains composants sont assez similaires et d'autres nécessitent plus de travail lourd. Par exemple, nos réseaux de neurones de vision par ordinateur ont été rapportés directement d'Autopilot à la situation des bots. C'est exactement le même réseau d'occupation dont nous parlerons un peu plus tard avec l'équipe Autopilot qui fonctionne maintenant sur le bot ici dans cette vidéo. La seule chose qui a vraiment changé est les données d'entraînement que nous avons dû rassembler. Nous essayons également de trouver des moyens d'améliorer ces réseaux d'occupation en utilisant le travail effectué sur vos champs de radiance pour obtenir un excellent rendu volumétrique des environnements du bot. Par exemple, ici, une machinerie que le bot pourrait avoir à interagir avec. Un autre problème intéressant à penser est dans les environnements intérieurs, principalement avec ce sens du signal GPS, comment faire naviguer le bot vers sa destination, par exemple, pour trouver sa station de charge la plus proche? Nous avons donc entraîné plus de réseaux de neurones pour identifier les caractéristiques haute fréquence, les points clés dans les flux de caméra du bot, et les suivre à travers les images au fil du temps alors que le bot navigue dans son environnement. Et nous utilisons ces points pour obtenir une meilleure estimation de la pose et de la trajectoire du bot dans son environnement alors qu'il marche. Nous avons également fait un peu de travail du côté simulation. Et c'est littéralement le simulateur Autopilot auquel nous avons intégré le code de locomotion du robot. Et c'est une vidéo du code de contrôle de mouvement exécuté dans le simulateur OPILOT montrant l'évolution du travail du robot au fil du temps. Et donc, comme vous pouvez le voir, nous avons commencé assez lentement en avril et commencé à accélérer à mesure que nous déverrouillons plus d'articulations et déployons des techniques plus avancées comme l'équilibre des bras au cours des derniers mois. Et donc la locomotion est spécifiquement un composant très différent alors que nous nous déplaçons de la voiture à l'environnement des bots. Et donc je pense que cela mérite un peu plus de profondeur. Et j'aimerais que mes collègues commencent à en parler maintenant.
Felix (Tesla)
Bonjour à tous, je suis Felix, je suis un ingénieur en robotique sur le projet et je vais
Tesla Presenter
parler de la marche.
Felix (Tesla)
La marche semble facile Pas vrai. Les gens le font tous les jours. Vous n'avez même pas besoin d'y penser. Mais il y a certains aspects de la marche qui sont difficiles du point de vue de l'ingénierie. Par exemple, la conscience de soi physique. Cela signifie avoir une bonne représentation de vous-même. Quelle est la longueur de vos membres, quelle est la masse de vos membres, quelle est la taille de vos pieds, tout cela compte. Avoir aussi une démarche énergétiquement efficace. Vous pouvez imaginer qu'il y a différents styles de marche et qu'ils sont tous également efficaces. Plus important encore, gardez l'équilibre, ne tombez pas, et bien sûr aussi coordonnez le mouvement de tous vos membres ensemble. Donc, les humains font tout cela naturellement maintenant. Mais en tant qu'ingénieurs ou roboticiens, nous devons réfléchir à ces problèmes et donc je vais vous montrer comment nous les abordons dans notre stratégie de planification et de contrôle de la locomotion. Nous commençons donc par la planification de la locomotion et notre représentation du bot. Cela signifie un modèle de la cinématique du robot, de la dynamique et des propriétés de contact. Et en utilisant ce modèle et le chemin souhaité pour les bots, notre planificateur de locomotion génère des trajectoires de référence pour l'ensemble du système. Cela signifie des trajectoires réalisables par rapport aux hypothèses de notre modèle. Le planificateur fonctionne actuellement en trois étapes. Il commence à planifier les empreintes et se termine par l'ensemble du système de photo de mouvement. Et approfondissons un peu comment cela fonctionne. Dans cette vidéo, nous voyons des empreintes être planifiées sur un horizon de planification suivant le chemin désiré. Et nous commençons par ceci et ajoutons ensuite des trajectoires de pied qui connectent ces empreintes en utilisant l'orteil et le coup du talon.
Eric (Tesla)
Tout comme les humains.
Felix (Tesla)
Tout comme les humains le font. Et cela nous donne une plus grande foulée et moins de flexion du genou pour une haute efficacité du système. La dernière étape consiste à trouver une trajectoire du centre de masse, qui nous donne un mouvement dynamiquement réalisable de l'ensemble du système pour maintenir l'équilibre. Comme nous le savons tous, les plans sont bons, mais nous devons aussi les réaliser dans la réalité. Voyons comment nous pouvons le faire.
Tesla Presenter
Bonjour tout le monde. Mon nom est Anand et je vais vous parler des contrôles. Prenons donc le plan de mouvement dont Felix a parlé et mettez-le dans le monde réel sur un robot réel. Voyons ce qui se passe. Il faut quelques pas et tombe. Eh bien, c'est un peu décevant, mais nous
Phil (Tesla)
manquent quelques pièces clés ici
Tesla Presenter
qui le feront fonctionner. Maintenant, comme Felix l'a mentionné, le planificateur de mouvement utilise une version idéalisée de lui-même et une version de la réalité autour de lui. Ce n'est pas exactement correct. Il exprime également son intention par des trajectoires et des clés, des clés de forces et de couples qu'il veut exercer sur le monde. Pour la locomotion, la réalité est bien plus complexe que n'importe quel modèle FEMOR. Aussi, le robot n'est pas simplifié. Il a des vibrations et des modes de conformité, du bruit de capteur, et ainsi de suite et ainsi de suite. Donc, qu'est-ce que cela fait dans le monde réel quand vous mettez le bot dans le monde réel? Eh bien, les forces inattendues causent une dynamique non modélisée, que la planète ne connaît essentiellement pas. Et cela cause une déstabilisation, en particulier pour un système qui est dynamiquement stable, comme la locomotion bipède. Donc, que pouvons-nous y faire? Eh bien, nous mesurons la réalité. Nous utilisons les capteurs et notre compréhension du monde pour faire l'estimation d'état et l'estimation d'état. Ici, vous pouvez voir l'attitude et la pose du bassin, qui est essentiellement le système vestibulaire chez l'homme, ainsi que la trajectoire du centre de masse étant suivi lorsque le robot marche dans l'environnement de bureau. Maintenant, nous avons toutes les pièces dont nous avons besoin pour fermer la boucle. Nous utilisons donc notre meilleur modèle de bot, nous utilisons la compréhension de la réalité que nous avons acquise par l'estimation d'état, et nous comparons ce que nous voulons avec ce que nous attendons que la réalité fasse à nous pour ajouter des corrections au comportement du robot ici. Le robot n'apprécie certainement pas d'être poké, mais il fait un travail admirable pour rester debout. Le dernier point ici est qu'un robot qui marche ne suffit pas. Nous avons besoin qu'il utilise ses mains
Phil (Tesla)
et les bras pour être utile.
Tesla Presenter
Parlons de la manipulation.
Eric (Tesla)
Bonjour à tous, je m'appelle Eric, ingénieur en robotique chez Tesla bot. Et je veux parler de la façon dont nous avons amené le robot à manipuler les choses dans le monde réel. Nous voulions manipuler des objets en ayant l'air aussi naturels que possible et aussi y arriver rapidement. Donc, ce que nous avons fait, c'est que nous avons décomposé ce processus en deux étapes. Le premier est la génération d'une bibliothèque de références de mouvement naturel, ou nous pourrions les appeler des démonstrations. Et puis nous avons adapté ces références de mouvement en ligne à la situation réelle actuelle.
Donc, disons que nous avons un humain
Eric (Tesla)
démonstration de cueillir un objet. Nous pouvons obtenir une capture de mouvement de cette démonstration, qui est visualisée ici comme un ensemble de cadres clés représentant les emplacements des mains, des coudes, du torse. Nous pouvons mapper cela au robot en utilisant la cinématique inverse. Et si nous collectons beaucoup de
celles-ci, maintenant nous avons une bibliothèque avec laquelle nous pouvons travailler.
Eric (Tesla)
Mais une seule démonstration n'est pas généralisable à la variation dans le monde réel. Par exemple, cela ne fonctionnerait que pour une boîte dans un endroit très particulier. Nous avons également exécuté ces trajectoires de référence via un programme d'optimisation de trajectoire, qui résout où la main devrait être, comment le robot devrait s'équilibrer lors de l'adaptation du mouvement au monde réel. Donc, par exemple, si la boîte est à cet endroit, notre optimiseur créera plutôt cette trajectoire. Ensuite, Milan va parler de ce qui va se passer ensuite pour l'Optimus Tesla bot.
D'accord, donc j'espère que maintenant vous avez une bonne idée de ce que nous avons fait ces derniers mois. Nous avons commencé à être quelque chose qui est utilisable, mais c'est loin d'être utile. Il y a encore une longue et passionnante route devant nous. Je pense que la première chose à faire dans les prochaines semaines est d'amener Optimus au moins au niveau de Bumble C, l'autre prototype « bug » que vous avez vu plus tôt, et probablement au-delà. Nous allons aussi commencer à nous concentrer sur le cas d'usage réel dans l'une de nos usines, et vraiment essayer de bien cerner et de régler tous les éléments nécessaires pour déployer ce produit dans le monde réel. Comme je le disais plus tôt, il y a par exemple la navigation en intérieur, la gestion élégante des pannes, ou encore la maintenance de tous les composants nécessaires pour faire monter ce produit en échelle. Mais je ne sais pas pour vous, mais après avoir vu ce que nous avons montré ce soir, je suis à peu près sûr que nous pouvons y arriver dans les prochains mois ou les prochaines années, faire de ce produit une réalité et changer toute l'économie. Je voudrais donc remercier toute l'équipe Optimus pour son travail acharné au cours des derniers mois. Je trouve ça assez impressionnant que tout cela ait été fait en à peine six ou huit mois. Merci beaucoup.
Tesla Presenter
Salut à tous.
Salut, je suis Ashok. Je dirige l'équipe Autopilot avec Milan. Mon Dieu, ça va être tellement difficile de faire mieux que la section Optimus. Il va essayer quand même. Quoi qu'il en soit, chaque Tesla construite ces dernières années possède, selon nous, le matériel nécessaire pour que la voiture se conduise elle-même. Cette fois-ci, nous avons travaillé sur le logiciel pour ajouter des niveaux d'autonomie toujours plus élevés. L'année dernière, environ 2000 voitures roulaient avec notre logiciel FSD bêta. Depuis, nous avons considérablement amélioré la robustesse et les capacités du logiciel, à tel point que nous l'avons désormais déployé auprès de 160 000 clients à ce jour.
Cela n'est pas arrivé par hasard. C'est le fruit de la sueur et du sang de l'équipe d'ingénierie. Au cours de la seule dernière année, par exemple, nous avons entraîné 75 000 modèles de réseaux de neurones. Cela représente à peu près un modèle toutes les huit minutes produit par l'équipe. Ensuite, nous les évaluons sur nos grands clusters, puis nous déployons 281 de ces modèles qui améliorent réellement les performances de la voiture. Et cet espace d'innovation se déploie à tous les niveaux de la pile technologique. Le logiciel de planification, l'infrastructure, les outils, même le recrutement, tout progresse vers le niveau supérieur. Le logiciel FSD bêta est tout à fait capable de conduire la voiture. Elle devrait être capable de naviguer de parking à parking, de gérer la conduite en ville, de s'arrêter aux feux de circulation et aux panneaux stop, de négocier avec les objets aux intersections, de tourner, etc. Tout cela provient des flux vidéo des caméras qui passent par nos réseaux de neurones, lesquels fonctionnent directement dans la voiture. Cela ne repasse pas par un serveur ou quoi que ce soit. Cela fonctionne dans la voiture et produit toutes les sorties nécessaires pour former le modèle du monde autour de la voiture. Et le logiciel de planification conduit la voiture sur cette base. Aujourd'hui, nous allons détailler bon nombre des composants qui constituent le système. Le réseau d'occupation sert de couche géométrique de base du système. Il s'agit d'un réseau de neurones vidéo multi-caméras qui, à partir des images, prédit l'occupation physique complète du monde autour du robot. Donc tout ce qui est physiquement présent, arbres, murs, bâtiments, voitures, ballons, et ainsi de suite, il le prédit. Si c'est physiquement présent, il le prédit ainsi que son mouvement futur. Au-dessus de ce niveau de base géométrique, nous avons des couches plus sémantiques. Pour naviguer sur les routes, nous avons bien sûr besoin des voies de circulation, mais les routes comportent de nombreuses voies différentes qui se connectent de toutes sortes de façons. C'est donc en réalité un problème très difficile pour les techniques classiques de vision par ordinateur de prédire l'ensemble des voies et leur connectivité. Nous avons donc été chercher jusque dans les technologies du langage, en puisant dans l'état de l'art d'autres domaines, et pas seulement dans la vision par ordinateur. Pour rendre cette tâche possible pour les véhicules, nous avons besoin de leur état cinématique complet afin de pouvoir les contrôler. Tout cela provient directement des réseaux de neurones, à partir des flux vidéo. Les flux vidéo bruts entrent dans les réseaux, passent par de nombreux traitements, puis produisent en sortie l'état cinématique complet. Les positions, les vitesses, l'accélération, la secousse (jerk), tout cela sort directement des réseaux avec un traitement postérieur minimal. Je trouve cela vraiment fascinant, car comment est-ce même possible ? Dans quel monde vivons-nous pour qu'une telle magie soit possible ? Que ces réseaux prédisent quatre dérivées de ces positions, alors que les gens pensaient qu'on ne pouvait même pas détecter ces objets. Mon avis, c'est que cela n'est pas venu gratuitement. Cela a nécessité d'énormes quantités de données. Nous avons donc dû construire des systèmes d'étiquetage automatique sophistiqués qui traitent les données brutes des capteurs et effectuent énormément de calculs hors ligne sur les serveurs. Cela peut prendre quelques heures, faire tourner des réseaux de neurones coûteux, puis distiller l'information en étiquettes qui servent à entraîner nos réseaux de neurones embarqués dans la voiture. En plus de cela, nous utilisons également notre système de simulation pour créer des images de manière synthétique. Et comme c'est une simulation, nous disposons trivialement de toutes les étiquettes. Tout cela passe par un pipeline de moteur de données bien huilé, où nous entraînons d'abord un modèle de référence avec quelques données, le déployons dans la voiture, puis observons les échecs. Une fois les échecs identifiés, nous explorons la flotte pour trouver les cas où le modèle échoue, fournissons les étiquettes correctes et ajoutons ces données à l'ensemble d'entraînement. Ce processus corrige systématiquement les problèmes. Et nous faisons cela pour chaque tâche qui s'exécute dans la voiture.
Et pour entraîner ces nouveaux réseaux de neurones massifs, nous avons cette année étendu notre infrastructure d'entraînement d'environ 40 à 50 %. Cela nous place aujourd'hui à environ 14 000 GPU répartis sur plusieurs clusters d'entraînement aux États-Unis. Nous avons également travaillé sur notre compilateur IA, qui prend désormais en charge les nouvelles opérations nécessaires à ces réseaux de neurones et les répartit au mieux sur nos ressources matérielles sous-jacentes. Et notre moteur d'inférence est aujourd'hui capable de répartir l'exécution d'un seul réseau de neurones sur deux systèmes sur puce (SoC) indépendants. Il s'agit essentiellement de deux ordinateurs indépendants interconnectés au sein du même ordinateur de conduite entièrement autonome. Et pour rendre cela possible, nous avons dû garder un contrôle très strict sur la latence de bout en bout de ce nouveau système. Nous avons donc déployé un code d'ordonnancement plus avancé sur l'ensemble de la plateforme FSD.
Tous ces réseaux de neurones, qui fonctionnent ensemble dans la voiture, produisent l'espace vectoriel, qui est à nouveau le modèle du monde autour du robot ou de la voiture. Le système de planification intervient ensuite par-dessus, en élaborant des trajectoires qui évitent les collisions et qui progressent de manière fluide vers la destination, en combinant une optimisation basée sur des modèles et un réseau de neurones qui aide à l'optimiser pour qu'elle soit vraiment rapide. Aujourd'hui, nous sommes vraiment ravis de présenter les progrès réalisés dans tous ces domaines. Nous avons les responsables techniques prêts à venir expliquer ces différents blocs, qui ne font pas seulement fonctionner la voiture, mais dont les mêmes composants font également tourner le robot Optimus que Milan a montré plus tôt. Sur ce, j'accueille Paril pour qu'il commence à parler de la partie planification.
Salut à tous, je suis Paril Jain. Utilisons ce scénario d'intersection pour entrer directement dans le vif du sujet : comment nous faisons la planification et la prise de décision dans Autopilot. Nous abordons donc cette intersection depuis une rue latérale et nous devons céder le passage à tous les véhicules qui traversent. Juste au moment où nous allons entrer dans l'intersection, le piéton situé de l'autre côté décide de traverser la route hors d'un passage pour piétons. Nous devons maintenant céder le passage à ce piéton, céder le passage aux véhicules venant de droite, et aussi comprendre la relation entre le piéton et le véhicule de l'autre côté de l'intersection. Il y a donc beaucoup de ces dépendances entre objets que nous devons résoudre en un coup d'œil rapide. Et les humains sont vraiment bons pour ça. Nous regardons une scène, comprenons toutes les interactions possibles, évaluons les plus prometteuses et finissons généralement par choisir une option raisonnable. Regardons donc quelques-unes de ces interactions évaluées par le système Autopilot. Nous aurions pu passer devant ce piéton avec un profil longitudinal et latéral très agressif. Là, on se comporte évidemment comme un goujat envers le piéton, et on ferait peur au piéton ainsi qu'à son adorable petit chien. Nous aurions pu avancer lentement en visant un créneau entre le piéton et le véhicule venant de droite. Là encore, on se comporte comme un goujat envers le véhicule venant de droite. Mais il ne faut pas rejeter d'emblée cette interaction, au cas où ce serait la seule interaction sûre disponible. Enfin, l'interaction que nous avons finalement choisie consiste à rester lent au départ, trouver un créneau raisonnable, puis terminer la manœuvre une fois que tous les agents ont passé. L'évaluation de toutes ces interactions n'est pas triviale, surtout lorsqu'on se soucie de modéliser les dérivées d'ordre supérieur pour les autres agents. Par exemple, quelle est la secousse longitudinale (jerk) requise pour le véhicule venant de droite lorsque vous vous imposez devant lui ? S'appuyer uniquement sur des vérifications de collision avec des prédictions marginales ne permet d'aller que jusqu'à un certain point, car on manquerait beaucoup d'interactions valides. Cela revient essentiellement à résoudre un problème de planification conjointe de trajectoires multi-agents, portant sur les trajectoires de l'ego-véhicule et de tous les autres agents. Or, quel que soit le degré d'optimisation atteint, il y aura toujours une limite à la vitesse à laquelle on peut exécuter ce problème d'optimisation. Cela tournera autour d'une dizaine de millisecondes, même après de nombreuses approximations incrémentales. Prenons maintenant un virage à gauche non protégé typique, dans une situation très encombrée. Supposons que vous ayez plus de 20 objets, chacun avec plusieurs modes futurs différents. Le nombre de combinaisons d'interactions pertinentes va alors exploser. Le planificateur doit prendre une décision toutes les 50 millisecondes. Alors, comment résolvons-nous cela en temps réel ? Nous nous appuyons sur un cadre que nous appelons « recherche d'interactions », qui consiste essentiellement en une recherche parallélisée sur un ensemble de trajectoires de manœuvre. L'espace d'état correspond ici à l'état cinématique de l'ego-véhicule, à l'état cinématique des autres agents, aux prédictions multimodales futures nominales, ainsi qu'à toutes les entités statiques de la scène. C'est au niveau de l'espace d'action que les choses deviennent intéressantes. Nous utilisons un ensemble de trajectoires de manœuvre candidates pour ramifier sur un éventail de décisions d'interaction, ainsi que sur des objectifs incrémentaux pour des manœuvres à plus long horizon. Parcourons rapidement cette recherche pour avoir une idée de son fonctionnement. Nous commençons avec un ensemble de mesures visuelles, à savoir les voies, le modèle d'occupation et les objets en mouvement. Celles-ci sont représentées sous forme d'abstractions éparses ainsi que de caractéristiques latentes. Nous utilisons cela pour créer un ensemble de voies candidates comme objectifs, de nouveau issues du réseau de voies, ou des régions non structurées correspondant à un masque de probabilité dérivé de démonstrations humaines. Une fois que nous disposons de ces candidats-objectifs, nous créons des trajectoires de départ en combinant des approches d'optimisation classiques et notre planificateur par réseau de neurones, de nouveau entraîné sur les données de la flotte clients. Une fois que nous disposons de ces trajectoires issues de la flotte, nous les utilisons pour commencer à ramifier sur les interactions que nous identifions. L'interaction la plus critique. Dans notre cas, ce serait l'interaction avec le piéton : faut-il s'imposer devant lui ou lui céder le passage ? De toute évidence, l'option de gauche entraîne une forte pénalité. Elle ne sera probablement pas priorisée. Nous ramifions donc davantage vers l'option de droite, et c'est là que nous introduisons des interactions de plus en plus complexes. Nous construisons ainsi ce problème d'optimisation de manière incrémentale, avec toujours plus de contraintes. Et la recherche en arbre se poursuit, se ramifiant sur davantage d'interactions, sur davantage d'objectifs. Or, une grande partie des astuces résident ici dans l'évaluation de chaque nœud de cette recherche en arbre, à l'intérieur même de chaque nœud. Au départ, nous avons commencé par créer des trajectoires à l'aide d'approches d'optimisation classiques, où les contraintes décrites étaient ajoutées de façon incrémentale, ce qui prenait environ 1 à 5 millisecondes par action. Bien que ce soit un chiffre plutôt bon, dès que l'on veut évaluer plus d'une centaine d'interactions, cela ne tient plus la charge. Nous avons donc fini par construire des réseaux légers et interrogeables que l'on peut exécuter dans la boucle du planificateur. Ces réseaux sont entraînés sur des démonstrations humaines issues de la flotte, ainsi que sur des solveurs hors ligne disposant de limites de temps plus souples. Grâce à cela, nous avons pu réduire le temps d'exécution à près de 100 microsecondes par action. Mais cela seul ne suffit pas, car il faut toujours parcourir cette recherche en arbre massive, et il faut élaguer efficacement l'espace de recherche. Il faut donc attribuer un score à chacune de ces trajectoires. Certaines de ces méthodes sont plutôt classiques. On effectue toute une série de vérifications de collision, ainsi qu'une série d'analyses de confort. Quelle est la secousse (jerk) et l'accélération requises pour une manœuvre donnée ? Les données de la flotte clients jouent un rôle important. Là encore, nous utilisons deux ensembles de réseaux légers interrogeables, qui se complètent vraiment l'un l'autre. Le premier est entraîné à partir des interventions de la flotte FSD bêta ; il fournit un score indiquant la probabilité qu'une manœuvre donnée entraîne une intervention dans les prochaines secondes. Et le second, basé uniquement sur des démonstrations humaines, sur des données de conduite humaine, fournit un score indiquant à quel point l'action sélectionnée se rapproche d'une trajectoire conduite par un humain. Ce système de notation nous aide à élaguer l'espace de recherche, à continuer de ramifier sur les interactions et à concentrer le calcul sur les résultats les plus prometteurs. Ce qui est intéressant avec cette architecture, c'est qu'elle permet de créer un bon équilibre entre des approches pilotées par les données, où l'on n'a pas à s'appuyer sur de nombreux coûts conçus à la main, tout en restant ancré dans la réalité grâce à des vérifications basées sur la physique. Jusqu'ici, une grande partie de ce que j'ai décrit concernait les agents que nous pouvions observer dans la scène. Mais le même cadre s'étend également aux objets situés derrière des occlusions. Nous utilisons le flux vidéo de huit caméras pour générer l'occupation 3D du monde. Le masque bleu correspond ici à la région de visibilité, qui est essentiellement bloquée à la première occlusion visible dans la scène. Nous exploitons ce masque de visibilité pour générer ce que nous appelons des « objets fantômes », visibles en haut à gauche. Or, si l'on modélise correctement les zones d'apparition et les transitions d'état de ces objets fantômes, et si l'on ajuste la réponse de contrôle en fonction de leur probabilité d'existence, on peut obtenir des comportements vraiment proches de ceux d'un humain. Je laisse maintenant la parole à Phil pour qu'il en dise plus sur la manière dont nous générons ces réseaux d'occupation. Merci.
Phil (Tesla)
Salut à tous, je m'appelle Phil. Je vais partager les détails du réseau d'occupation que nous avons construit au cours de l'année passée. Ce réseau est notre solution pour modéliser le monde physique en 3D autour de nos voitures. Et il n'est actuellement pas affiché dans notre visualisation destinée aux clients. Ce que vous allez voir ici correspond à la sortie brute du réseau, issue de notre outil de développement interne. Le réseau d'occupation prend en entrée les flux vidéo de nos huit caméras et produit directement, pour chaque emplacement 3D autour de la voiture, une occupation volumétrique unifiée dans l'espace vectoriel. Il prédit la probabilité que cet emplacement soit occupé ou non. Comme il dispose du contexte vidéo, il est capable de prédire instantanément, pour chaque emplacement, les obstacles qui sont occultés. Il produit également un ensemble d'éléments sémantiques tels que le trottoir, la voiture, le piéton et les débris sur la route, représentés ici par un code couleur. Le flux d'occupation est également prédit pour le mouvement. Comme le modèle est un réseau généralisé, il ne distingue pas explicitement les objets statiques des objets dynamiques. Il est capable de produire et de modéliser des mouvements aléatoires, comme cette remorque qui fait une embardée ici. Ce réseau fonctionne actuellement dans toutes les Tesla équipées d'ordinateurs FSD, et il est incroyablement efficace, s'exécutant environ toutes les 10 millisecondes grâce à notre accélérateur de réseaux de neurones. Alors, comment cela fonctionne-t-il ? Jetons un coup d'œil à l'architecture. D'abord, nous rectifions les images de chaque caméra grâce à l'étalonnage de la caméra. Et les images que nous voyons ici ont été fournies au réseau. En fait, ce n'est pas l'image RGB 8 bits typique, comme vous pouvez le voir sur la première image en haut. Nous donnons au réseau l'image brute de comptage de photons en 12 bits. Comme elle contient 4 bits d'information supplémentaires, elle offre une plage dynamique 16 fois meilleure ainsi qu'une latence réduite. Comme nous n'avons plus besoin d'exécuter l'ISP dans la boucle, nous utilisons un ensemble de RegNets et de BiFPN comme backbone pour extraire les caractéristiques dans l'espace image. Ensuite, nous construisons un ensemble de requêtes de position 3D ainsi que les caractéristiques de l'espace image. Utilisées comme clés et valeurs dans un module d'attention, la sortie de ce module d'attention est constituée de caractéristiques spatiales de haute dimension. Ces caractéristiques spatiales sont alignées temporellement grâce à l'odométrie du véhicule pour en déduire le mouvement. Enfin, ces caractéristiques spatio-temporelles passent par un ensemble de déconvolutions pour produire la sortie finale d'occupation et de flux d'occupation. Elles sont formées sous forme d'une grille de voxels de taille fixe, qui pourrait ne pas être assez précise pour la planification et le contrôle ; afin d'obtenir une résolution plus élevée, Nous produisons également des cartes de caractéristiques par voxel que nous introduisons dans un MLP avec des requêtes de points spatiaux 3D pour obtenir la position et la sémantique à n'importe quel endroit arbitraire. Maintenant que nous connaissons mieux le modèle, regardons un autre exemple. Ici, nous avons un bus articulé garé sur le côté droit de la route, mis en évidence comme un voxel en forme de L. Ici, au fur et à mesure que nous approchons, le bus se met à bouger : l'avant du bus devient d'abord bleu, ce qui indique que le modèle prédit un flux d'occupation non nul pour l'avant du bus, et à mesure que le bus continue de se déplacer, le bus entier devient bleu ; on peut aussi voir que le réseau prédit la courbure précise du bus. Eh bien, c'est un problème très compliqué pour un réseau traditionnel de détection d'objets, car il faut déterminer si l'on va utiliser un seul cuboïde ou peut-être deux pour s'ajuster à la courbure. Mais pour le réseau d'occupation, comme tout ce qui nous importe est l'occupation dans l'espace visible, nous serons en mesure de modéliser la courbure avec précision. En plus de la grille de voxels, le réseau d'occupation produit également une surface praticable. La surface praticable comporte à la fois une géométrie 3D et une sémantique. Elles sont très utiles pour le contrôle, en particulier sur les routes vallonnées et sinueuses. La surface et la grille de voxels ne sont pas prédites indépendamment. Au contraire, la grille de voxels s'aligne en fait implicitement avec la surface. Ici, nous sommes au sommet d'une colline où l'on peut voir que la géométrie 3D de la surface est bien prédite. Le planificateur peut utiliser cette information pour décider qu'il faut peut-être ralentir davantage pour cette crête, et comme on peut également le voir, la grille de voxels s'aligne de manière cohérente avec la surface. En plus des voxels et de la surface, nous sommes également très enthousiastes à propos de la récente avancée des champs de radiance neuronaux, ou NeRF. Nous étudions à la fois l'intégration de certaines caractéristiques de NeRF dans l'entraînement du réseau d'occupation, ainsi que l'utilisation de la sortie de notre réseau comme état d'entrée pour NeRF. En fait, Ashok est très enthousiaste à ce sujet. C'est son projet personnel du week-end depuis un certain temps.
Ces NeRF... parce que je pense que le monde académique construit tous ces modèles de base pour le langage en utilisant des tonnes d'énormes jeux de données linguistiques. Mais je pense que, pour la vision, les NeRF vont fournir les modèles de base pour la vision par ordinateur, car ils sont ancrés dans la géométrie. Et la géométrie nous offre un bon moyen de superviser ces réseaux et nous libère de l'obligation de définir une ontologie. Et la supervision est essentiellement gratuite, car il suffit de rendre ces images de manière différentiable. Donc je pense que, dans le futur, cette idée de réseau d'occupation, où des images entrent et où le réseau produit une représentation volumétrique cohérente de la scène, laquelle peut ensuite être rendue de manière différentiable sous forme de n'importe quelle image observée, je pense personnellement que c'est l'avenir de la vision par ordinateur. Et nous réalisons déjà des travaux préliminaires à ce sujet. Mais je pense qu'à l'avenir, aussi bien chez Tesla que dans le monde académique, nous verrons que cette combinaison de prédiction en une seule passe de l'occupation volumétrique complète représentera l'avenir. Voilà pour ma petite contribution personnelle.
Phil (Tesla)
Voici donc un exemple. Un résultat préliminaire d'une reconstruction 3D à partir des données de notre flotte. Plutôt que de nous concentrer sur l'obtention d'une reprojection RGB parfaite dans l'espace image, notre objectif principal ici est de représenter précisément le monde dans l'espace 3D pour la conduite. Et nous voulons le faire pour toutes les données de notre flotte, partout dans le monde, dans toutes les conditions météorologiques et d'éclairage. Et évidemment, c'est un problème très difficile, et nous comptons sur vous pour nous aider. Enfin, le réseau d'occupation est entraîné avec un vaste jeu de données étiqueté automatiquement, sans aucune intervention humaine. Et sur ce, je passe la parole à Tim pour qu'il nous explique ce qu'il faut pour entraîner ce réseau.
Tesla Presenter
Merci, Phil. Très bien, salut à tous, parlons un peu de l'infrastructure d'entraînement. Nous avons donc vu quelques vidéos, quatre ou cinq je crois, mais nous nous préoccupons et nous nous soucions d'un bien plus grand nombre de séquences que cela. Nous avons donc examiné les réseaux d'occupation uniquement à partir des vidéos de Phil. Il faut 1,4 milliard d'images pour entraîner ce réseau, celui que vous venez de voir, et si vous disposez de 100 000 GPU, cela prendra une heure, mais si vous n'avez qu'un seul GPU, cela prendrait 100 000 heures. Ce n'est donc pas un délai raisonnable pour attendre que votre tâche d'entraînement se termine. Voilà. Nous voulons livrer plus vite que ça. Cela signifie donc qu'il faut paralléliser. Il vous faut donc plus de puissance de calcul pour cela. Cela signifie qu'il vous faut un superordinateur. C'est pourquoi nous avons construit en interne trois superordinateurs comprenant 14 000 GPU, dont 10 000 GPU utilisés pour l'entraînement et 4 000 GPU pour l'étiquetage automatique. Toutes ces vidéos sont stockées dans un cache vidéo distribué et géré de 30 pétaoctets. Il ne faut pas considérer nos jeux de données comme fixes. Disons que, contrairement à ce qu'on pourrait imaginer avec un ImageNet ou quelque chose du genre, avec environ un million d'images, il faut plutôt le considérer comme quelque chose de très fluide. Nous avons ainsi environ un demi-million de ces vidéos qui entrent et sortent de ce cluster, de ces clusters, chaque jour, et nous suivons 400 000 instanciations vidéo de ce type en Python chaque seconde. C'est donc, c'est beaucoup d'appels. Nous devons capturer cela afin de gérer les politiques de rétention de ce cache vidéo distribué. Tout cela repose donc sur une énorme quantité d'infrastructure, que nous construisons et gérons entièrement en interne. On ne peut donc pas simplement acheter, disons, 14 000 GPU et 30 pétaoctets de stockage flash NVMe, tout assembler et se dire « allons entraîner ». Cela demande en réalité énormément de travail. Et je vais entrer un peu dans les détails à ce sujet. Ce que l'on souhaite en réalité faire, c'est partir de votre accélérateur. Cela peut être le GPU ou Dojo, dont nous parlerons plus tard. Et comme c'est le composant le plus coûteux, c'est là que l'on souhaite placer le goulot d'étranglement. Cela signifie donc que chaque composant de votre système doit surpasser cet accélérateur. Et c'est donc vraiment compliqué. Cela signifie que votre stockage doit disposer de la capacité et de la bande passante nécessaires pour acheminer toutes les données jusqu'aux nœuds. Ces nœuds doivent disposer de la quantité adéquate de CPU et de mémoire pour alimenter votre framework de machine learning. Ce framework de machine learning doit ensuite transmettre les données à votre GPU, et c'est à ce moment-là que l'entraînement peut commencer. Mais il faut ensuite faire cela de manière fiable sur des centaines ou des milliers de GPU, de façon synchronisée, et tout en restant rapide. Vous avez donc également besoin d'une interconnexion, ce qui est extrêmement compliqué. Nous parlerons davantage de Dojo dans un instant. Donc, pour commencer, je veux vous présenter quelques optimisations que nous avons réalisées sur notre cluster. Nous recevons donc énormément de vidéos, et la vidéo est très différente, disons, de l'entraînement sur des images ou du texte, qui est selon moi une pratique bien établie. La vidéo est, au sens littéral, plus compliquée d'une dimension entière. Et c'est pourquoi nous avons dû procéder de bout en bout, de la couche de stockage jusqu'à l'accélérateur, et optimiser chaque élément de cette chaîne. Comme nous entraînons le réseau sur les vidéos de comptage de photons provenant directement de notre flotte, nous les utilisons directement pour l'entraînement. Nous ne leur appliquons aucun post-traitement. La façon dont cela se fait est que nous nous positionnons exactement sur les images que nous sélectionnons pour notre lot. Nous les chargeons, y compris les images dont elles dépendent. Ce sont donc vos images I ou vos images clés. Nous les regroupons, les transférons dans la mémoire partagée, puis dans un double buffer sur le GPU, et nous utilisons ensuite le décodeur matériel accéléré pour décoder réellement la vidéo. Nous faisons donc cela nativement sur le GPU. Et tout cela se trouve dans une extension Python PyTorch très bien conçue. Cela a permis d'obtenir une augmentation de plus de 30 % de la vitesse d'entraînement pour les réseaux d'occupation et a libéré pratiquement tout le CPU pour faire autre chose. On ne peut pas simplement entraîner le réseau avec uniquement des vidéos. Bien sûr, il faut une forme de vérité terrain, et c'est d'ailleurs aussi un problème intéressant. L'objectif du stockage de la vérité terrain est de s'assurer d'accéder à la vérité terrain dont on a besoin avec le minimum d'opérations sur le système de fichiers, et de charger la quantité minimale de données nécessaires, afin d'optimiser le débit global à l'échelle du cluster. Parce qu'il faut voir un cluster de calcul comme un seul grand appareil qui possède des contraintes et des seuils internes fixes. Pour cela, nous avons donc mis en place un format qui nous est propre, appelé « small ». Nous l'utilisons pour notre vérité terrain, notre cache de caractéristiques et toutes les sorties d'inférence. Il y a donc beaucoup de tenseurs là-dedans, et voici juste un schéma simplifié. Disons que ceci représente le tableau que vous souhaitez stocker. Voilà donc à quoi cela ressemblerait une fois écrit sur le disque. Ce que l'on fait, c'est prendre tout ce sur quoi on souhaite indexer. Par exemple, les horodatages vidéo : on les place tous dans l'en-tête, afin que dès la lecture initiale de l'en-tête, on sache exactement où aller sur le disque. Ensuite, si vous avez des tenseurs, vous allez essayer de transposer les dimensions pour placer une dimension différente en dernière position, comme dimension contiguë, puis essayer également différents types de compression. Ensuite, on vérifie laquelle était la plus optimale, puis on la stocke. C'est en fait une étape majeure. Si vous mettez en cache les caractéristiques — sortie [inaudible] du réseau de machine learning —, en réorganisant un peu les dimensions, vous pouvez
obtenir jusqu'à 20 % d'augmentation de l'efficacité du stockage.
Tesla Presenter
Ensuite, lorsqu'on stocke cela, on ordonne également les colonnes par taille, afin que toutes les petites colonnes et les petites valeurs soient regroupées ensemble ; ainsi, lorsqu'on recherche une seule valeur, il est probable que la lecture recouvre également d'autres valeurs que l'on utilisera plus tard, ce qui évite d'avoir à effectuer une autre opération sur le système de fichiers. Je pourrais continuer ainsi indéfiniment ; je viens juste d'évoquer deux des projets que nous avons en interne. Mais cela fait en réalité partie d'un vaste effort continu visant à optimiser la puissance de calcul que nous avons en interne. En cumulant et en combinant toutes ces optimisations, nous entraînons désormais nos réseaux d'occupation deux fois plus vite, simplement parce que c'est deux fois plus efficace. Et maintenant, si l'on ajoute encore beaucoup de puissance de calcul et qu'on parallélise, on peut entraîner ce réseau en quelques heures au lieu de plusieurs jours. Et sur ce, je voudrais passer la parole au plus gros consommateur de puissance de calcul. John.
Bonjour à tous, je m'appelle John Emmons. Je dirige l'équipe de vision d'Autopilot. Je vais aborder deux sujets avec vous aujourd'hui. Le premier est la manière dont nous prédisons les voies. Et le second est la manière dont nous prédisons le comportement futur des autres acteurs sur la route. Aux débuts d'Autopilot, nous modélisions le problème de détection des voies comme une tâche de segmentation d'instances basée sur l'image. Notre réseau était néanmoins extrêmement simple. En fait, il n'était capable de prédire des voies que pour quelques types de géométries différentes. Plus précisément, il segmentait la voie ego, il pouvait segmenter les voies adjacentes, puis il disposait de quelques cas particuliers pour les bifurcations et les fusions de voies. Cette modélisation simpliste du problème fonctionnait pour des routes très structurées comme les autoroutes. Mais aujourd'hui, nous essayons de construire un système capable de manœuvres bien plus complexes. Plus précisément, nous voulons effectuer des virages à gauche et à droite à des intersections où la topologie routière peut être beaucoup plus complexe et variée. Lorsque nous essayons d'appliquer cette modélisation simpliste du problème ici, elle s'effondre complètement. Si l'on prend un peu de recul, ce que nous essayons de faire ici, c'est de prédire un ensemble clairsemé d'instances de voies et leur connectivité. Et ce que nous voulons, c'est disposer d'un réseau de neurones qui prédit essentiellement ce graphe, où les nœuds sont les segments de voies et les arêtes encodent les connectivités entre ces voies. Ce que nous avons donc, c'est notre réseau de neurones de détection de voies. Il est composé de trois éléments. Dans le premier composant, nous avons un ensemble de couches convolutives, de couches d'attention et d'autres couches de réseau de neurones qui encodent les flux vidéo provenant des huit caméras du véhicule et produisent une représentation visuelle riche. Nous enrichissons ensuite cette représentation visuelle avec des données cartographiques grossières au niveau de la route, que nous encodons à l'aide d'un ensemble de couches supplémentaires de réseau de neurones que nous appelons le module de guidage de voie. Cette carte n'est pas une carte HD, mais elle fournit de nombreux indices utiles sur la topologie des voies à l'intérieur des intersections. Le nombre de voies sur différentes routes, ainsi qu'un ensemble d'autres attributs qui nous aident. Les deux premiers composants produisent ici un tenseur dense qui encode en quelque sorte le monde. Mais ce que nous voulons vraiment faire, c'est convertir ce tenseur dense en un ensemble intelligent de voies et de leurs connectivités. Nous abordons ce problème comme une tâche de génération de légendes d'images, où l'entrée est ce tenseur dense et la sortie est du texte. Il est prédit dans un langage spécial que nous avons développé chez Tesla pour encoder les voies et leur connectivité. Dans ce langage des voies, les mots et les tokens correspondent aux positions des voies dans l'espace 3D, selon l'ordre des tokens. Des modificateurs intercalés dans les tokens encodent les relations de connectivité entre ces voies. En modélisant la tâche comme un problème de langage, nous pouvons tirer parti des architectures auto-régressives récentes et des techniques issues de la communauté du traitement du langage pour gérer la multimodalité du problème. Chez Autopilot, nous ne résolvons pas seulement le problème de vision par ordinateur ; nous appliquons également l'état de l'art en modélisation du langage au machine learning de manière plus générale. Je vais maintenant approfondir un peu plus ce composant linguistique. Ce que j'ai représenté ici à l'écran est une image satellite qui représente en quelque sorte la zone locale autour du véhicule. L'ensemble des nœuds et des arêtes est ce que nous appelons le graphe de voies. Et c'est finalement ce que nous voulons obtenir en sortie de ce réseau de neurones. Nous partons d'une page blanche. Nous allons vouloir faire notre première prédiction ici, à ce point vert. La position de ce point vert est encodée comme un indice dans une grille grossière qui discrétise le monde en 3D. Maintenant, nous ne prédisons pas cet index directement parce que ce serait trop coûteux en calcul. Il y a simplement trop de points de grille. Et prédire une distribution catégorique sur cela a des implications à la fois au moment de l'entraînement et au moment du test. Donc au lieu de cela, nous discrétisons le monde grossièrement. D'abord, nous prédisons une carte thermique sur les emplacements possibles, puis nous nous accrochons à la condition d'emplacement la plus probable sur cela. Nous affinez ensuite la prédiction et obtenons le point précis. Maintenant, nous savons où se trouve la position de ce jeton, mais nous ne connaissons pas son type. Dans ce cas, cependant, c'est le début d'une nouvelle voie. Donc nous le prédisons comme un jeton de départ. Et parce que c'est un jeton de départ, il n'y a pas d'attributs supplémentaires dans notre langage. Nous prenons ensuite les prédictions de ce premier chemin avant, et nous les codons en utilisant un plongement conditionnel appris, qui produit un ensemble de tenseurs que nous combinons, ce qui est en fait le premier mot de notre langage des voies. Nous ajoutons ceci à la première position de notre phrase ici. Nous continuons ensuite ce processus en prédisant le prochain point de voie de manière similaire. Maintenant, ce point de voie n'est pas le début d'une nouvelle voie. C'est en réalité une continuation de la voie précédente. Donc c'est un type de jeton de continuation. Maintenant, il ne suffit pas de savoir que cette voie est connectée à la voie précédemment prédite. Nous voulons encoder sa géométrie précise, ce que nous faisons en régressant un ensemble de coefficients de spline. Nous prenons ensuite cette voie, nous la codons à nouveau et l'ajoutons comme le prochain mot de la phrase. Nous continuons à prédire ces voies de continuation jusqu'à ce que nous atteignions la fin de la grille de prédiction. Nous passons ensuite à un segment de voie différent. Donc vous pouvez voir ce point cyan là-bas. Maintenant, il n'est pas topologiquement connecté à ce point rose. Il se divise en réalité de ce point vert là-bas. Donc c'est un type de fourche. Et les jetons de fourche pointent en réalité vers les jetons précédents d'où provient la fourche. Donc vous pouvez voir ici que le prédicteur de point de fourche est en réalité l'index zéro. Donc il référence en réalité les jetons qu'il a déjà prédits. Comme vous le feriez dans le langage, nous continuons ce processus encore et encore jusqu'à ce que nous ayons énuméré tous les jetons du graphique de voie, puis le réseau prédit le jeton de fin de phrase.
Ouais, je voulais juste noter que la raison pour laquelle nous faisons cela n'est pas seulement parce que nous voulons construire quelque chose de compliqué. Cela ressemble presque à une machine complète de Turing. Ici avec les réseaux de neurones, c'est que nous avons essayé des approches plus simples, par exemple, essayer de segmenter simplement les voies le long de la route ou quelque chose de similaire. Mais ensuite le problème est quand il y a de l'incertitude, disons que vous ne pouvez pas voir clairement la route et il pourrait y avoir deux voies ou trois voies et vous ne pouvez pas dire. Une approche basée sur une simple segmentation dessinerait simplement les deux. C'est une sorte de situation de 2,5 voies. Et l'algorithme de post-traitement échouerait hilarement quand les prédictions sont telles.
Ouais, et les problèmes ne s'arrêtent pas là. Je veux dire, vous devez prédire ces connectifs, comme ces voies connectifs à l'intérieur des intersections, ce qui n'est tout simplement pas possible avec l'approche que mentionne Ashok, c'est pourquoi nous avons dû passer à ce genre.
Ouais. Quand il y a un chevauchement comme celui-ci, la segmentation deviendrait juste folle. Mais même si vous essayez très dur, vous savez, de les mettre sur des couches séparées. C'est juste un problème vraiment difficile. Mais le langage offre simplement un cadre vraiment agréable pour obtenir un échantillon à partir d'une posterior par rapport à, vous savez, essayer de faire tout cela en post-traitement. Mais cela ne s'arrête vraiment que pour autopilot, n'est-ce pas, John? Cela peut être utilisé pour Optimus.
Ouais. Vous savez, je suppose qu'elles ne seraient pas appelées voies, mais vous pourriez imaginer, vous savez, une sorte de cette, vous savez, étape ici que vous pourriez avoir une sorte de chemins qui, vous savez, encodent les endroits possibles où les gens pourraient marcher.
Fondamentalement, si vous êtes dans une usine ou dans un cadre domestique, vous pouvez simplement demander au robot, d'accord, veuillez vous diriger vers la cuisine ou veuillez vous diriger vers un emplacement quelconque de l'usine. Et puis nous prédisons un ensemble de chemins qui traverseraient les allées. Prendre le robot et dire, d'accord, c'est comme ça que vous allez à la cuisine. Cela nous donne vraiment un cadre agréable pour modéliser ces différents chemins qui simplifient le problème de navigation pour le planificateur en aval.
Très bien, donc en fin de compte, ce que nous obtenons de ce réseau de détection de voies est un ensemble de voies et leurs connectivités, qui provient directement du réseau. Il n'y a aucune étape supplémentaire ici pour rendre ces, vous savez, prédictions denses en prédictions clairsemées. C'est simplement une sortie directe et non filtrée du réseau. D'accord, donc j'ai parlé un peu des voies. Je vais brièvement évoquer comment nous modélisons et prédisons les chemins futurs et autres sémantiques sur les objets. Donc je vais juste passer très rapidement par deux exemples. La vidéo à droite ici, nous avons une voiture qui traverse en fait un feu rouge et qui tourne devant nous. Ce que nous faisons pour gérer des situations comme celle-ci est que nous prédisons un ensemble de trajectoires futures à court terme sur tous les objets. Nous pouvons utiliser ces éléments pour anticiper la situation dangereuse ici et appliquer toute action de freinage et de direction nécessaire pour éviter une collision. Dans la vidéo à droite, il y a deux véhicules devant nous. Celui sur la voie de gauche est garé. Apparemment, il se fait charger, décharger. Je ne sais pas pourquoi le chauffeur a décidé de se garer là. Mais l'important est que notre réseau de neurones ait prédit qu'il était arrêté, ce qui est la couleur rouge là-bas. Le véhicule dans l'autre voie, comme vous l'avez remarqué, est également immobile. Mais celui-ci attend évidemment juste que le feu rouge passe au vert. Donc, même si les deux objets sont stationnaires et ont une vitesse nulle, ce sont les sémantiques qui sont vraiment importantes ici pour que nous ne restions pas bloqués derrière cette voiture garé maladroitement. Prédire tous ces attributs d'agent présente certains problèmes pratiques lors de la tentative de construire un système en temps réel, nous devons maximiser la fréquence d'images de notre pile de section d'objets afin que l'autopilot puisse réagir rapidement à l'environnement changeant. Chaque milliseconde compte vraiment ici. Pour minimiser la latence d'inférence, notre réseau de neurones est divisé en deux phases. Dans la première phase, nous avons identifié des emplacements dans l'espace 3D où les agents existent. Au deuxième stade, nous extrayons ensuite les tenseurs à ces emplacements 3D, l'ajoutons avec des données supplémentaires qui sont sur le véhicule et puis nous, vous savez, faisons le reste du traitement. Cette étape de sparsification permet au réseau de neurones de concentrer le calcul sur les zones qui comptent le plus, ce qui nous donne une performance supérieure pour une fraction du coût de latence. Donc, mettant tout ensemble, la pile de vision autopilot prédit bien plus que la géométrie et la cinématique du monde. Il prédit également un riche ensemble de sémantiques qui permettent une conduite sûre et semblable à celle de l'homme. Je vais maintenant passer les choses à SRI qui nous dira comment nous exécutons tous ces cool réseaux de neurones sur notre ordinateur FSD. Merci.
Sri (Tesla)
Bonjour à tous, je suis sri. Aujourd'hui, je vais vous donner un aperçu de ce qu'il faut pour exécuter ces réseaux FSC dans la voiture et comment nous optimisons la latence d'inférence. Aujourd'hui, je vais me concentrer uniquement sur le réseau de voies FSG dont John vient de parler. Donc, quand nous avons commencé cette piste, nous voulions savoir si nous pouvons exécuter ce réseau de voies FSG nativement sur le moteur TRIP, qui est notre accélérateur de réseau de neurones interne que nous avons construit dans l'ordinateur FSD. Quand nous avons construit ce matériel, nous l'avons gardé simple et nous nous assuré qu'il peut faire une chose ridiculement rapidement les produits de points denses. Mais cette architecture est auto-régressive et itérative où elle broie à travers de multiples blocs d'attention dans la boucle interne produisant des points clairsemés directement à chaque étape. Donc le défi ici était comment pouvons-nous faire cette prédiction de point clairsemée et le calcul clairsemé sur un moteur de produit de point dense. Voyons comment nous avons fait cela en voyage. Donc le réseau prédit la carte thermique des emplacements spatiaux les plus probables du point. Maintenant, nous faisons une opération ARGMAX et une opération one hot qui donne l'encodage one hot de l'index de l'emplacement spatial. Maintenant, nous devons sélectionner l'intégration associée à cet index à partir d'une table d'intégration qui est apprise lors de l'entraînement. Pour faire cela en voyage, nous avons réellement construit une table de recherche en SRAM et nous avons conçu les dimensions de cet intégration de telle sorte que nous puissions réaliser tout cela avec juste la multiplication matricielle. Non seulement cela, nous voulions également stocker cet intégration dans un cache de jeton afin que nous ne recalculions pas cela pour chaque itération, mais plutôt la réutiliser pour la prédiction de points futurs. Encore une fois, nous avons utilisé quelques astuces ici où nous avons fait toutes ces opérations juste sur le moteur de produit de point. C'est en fait cool que notre équipe ait trouvé des façons créatives de mapper toutes ces opérations sur le moteur de voyage de manières qui n'avaient même pas été imaginées lors de la conception de ce matériel. Mais ce n'est pas la seule chose que nous avons dû faire pour que cela fonctionne. Nous avons réellement implémenté beaucoup d'opérations et de fonctionnalités pour rendre ce modèle compilable, pour améliorer la précision d'admission ainsi que pour optimiser les performances. Toutes ces choses nous ont aidé à exécuter ce modèle de 75 millions de paramètres en juste sous 10 millisecondes de latence, consommant seulement 8 watts de puissance. Mais ce n'est pas la seule architecture fonctionnant dans la voiture. Il y a tellement d'autres architectures, modules et réseaux que nous devons exécuter dans la voiture pour donner une impression d'échelle. Il y a environ un milliard de paramètres de tous les réseaux combinés, produisant environ 1000 signaux de réseau de neurones. Donc, nous devons nous assurer que nous les optimisons conjointement et de manière à maximiser le débit d'utilisation du calcul et minimiser la latence. Donc, nous avons construit un compilateur juste pour les réseaux de neurones qui partage la structure avec les compilateurs traditionnels. Comme vous pouvez le voir, il prend le graphique massif de réseaux de neurones avec 150k nœuds et 375k connexion, prend cette chose, les partitionne en sous-graphes indépendants et compile chacun de ces sous-graphes nativement pour les appareils d'inférence. Ensuite, nous avons un lieur de réseau de neurones qui partage la structure avec le lieur traditionnel où nous effectuons cette optimisation du temps de liaison. Là, nous résolvons un problème d'optimisation hors ligne avec des contraintes de mémoire de calcul et de bande passante de mémoire de sorte qu'il vient avec un calendrier optimisé qui est exécuté dans la voiture sur le runtime. Nous avons conçu un système de planification hybride qui fait essentiellement une planification hétérogène sur un SoC et une planification distribuée sur les deux SoCs pour exécuter ces réseaux de manière parallèle au modèle. Pour obtenir 100 tops d'utilisation du calcul, nous devons optimiser tous les couches de logiciels, de l'ajustement de l'architecture du réseau, du compilateur, jusqu'à la mise en place d'un lien RDMA à faible latence et bande passante élevée sur les deux socs. Et en fait aller encore plus loin pour comprendre et optimiser les parties de données cohérentes au cache et non cohérentes de l'accélérateur dans le SoC. C'est beaucoup d'optimisation à tous les niveaux pour s'assurer que nous obtenons la fréquence d'images la plus élevée et car chaque milliseconde compte ici. Et c'est juste le, c'est la visualisation des réseaux de neurones qui s'exécutent dans la voiture. C'est essentiellement notre cerveau numérique. Comme vous pouvez le voir, ces opérations ne sont rien d'autre que la multiplication matricielle convolution pour ne citer que quelques vraies opérations exécutées dans la voiture. Pour entraîner ce réseau avec un milliard de paramètres, vous avez besoin de beaucoup de données étiquetées. Donc Egan va parler de comment nous réalisons cela avec le pipeline de labeling automatique.
Tesla Presenter
Merci monsieur. Bonjour à tous, je suis Yeagan Zhang et je dirige la vision géométrique chez Autopilot. Donc oui, parlons du labeling automatique. Donc, nous avons plusieurs types de cadres de labeling automatique pour supporter différents types de réseaux. Mais aujourd'hui, je voudrais me concentrer sur l'awesome lanesnet ici. Donc, pour réussir à entraîner et généraliser ce réseau partout, nous pensons que nous avons eu des dizaines de millions de voyages à partir de probablement 1 million d'intersections ou même plus. Alors comment faire cela. Il est donc certainement possible de sourcer une quantité suffisante de voyages parce que nous avons déjà, comme Tim l'a expliqué plus tôt, nous avons déjà comme 500 000 voyages par jour de taux de cache. Cependant, combiner toutes ces données dans une forme d'entraînement est un très difficile problème technique. Pour résoudre ce défi, nous avons essayé diverses façons de labeling manuel et automatique. Donc de la première colonne à la deuxième, de la deuxième à la troisième, chaque avancée nous a fourni une amélioration de presque 100x du débit. Mais nous voulons encore une meilleure machine de labeling automatique qui puisse nous fournir une bonne qualité, diversité et scalabilité. Pour répondre à tous ces besoins, malgré l'énorme quantité d'efforts d'ingénierie requis ici, nous avons développé une nouvelle machine de labeling automatique alimentée par la reconstruction multi-voyage. Donc cela peut remplacer 5 millions d'heures de labeling manuel avec seulement 12 heures sur cluster pour le labeling de 10 000 voyages. Alors comment nous avons résolu, il y a trois grandes étapes. La première étape est la récupération de trajectoire et structure de haute précision par l'odométrie visuelle inertielle multi caméra. Donc ici, tous les paramètres y compris la surface du sol sont déduits des vidéos par les réseaux de neurones, puis suivis et reconstruits dans l'espace vectoriel. Donc le taux de dérive typique de cette trajectoire en voiture est d'environ 1,3 centimètre par mètre et 0,45 milli région par mètre, ce qui est assez décent compte tenu de son exigence de calcul compact. Ensuite, le service de récupération et les détails des routes sont également utilisés comme une orientation forte pour les aspects ultérieurs de la vérification manuelle. Ceci est également activé dans chaque véhicule FSD. Donc nous obtenons les trajectoires et structures pré-traitées avec les données de voyage. La deuxième étape est la reconstruction multi-outil, qui est le grand et noyau de cette machine. Donc la vidéo montre comment le voyage précédemment montré est reconstruit et aligné avec d'autres voyages, essentiellement d'autres voyages de différents véhicules, pas le même véhicule. Ouais. À la fin, l'analyste humain vient et finalise l'étiquette. Donc chaque étape d'habitude est déjà complètement parallélisée sur le cluster. Donc l'ensemble du processus prend généralement quelques heures. La dernière étape est en réalité le labeling automatique des nouveaux voyages. Donc ici nous utilisons le même moteur d'alignement multi-voyage, mais seulement entre la reconstruction pré-construite et chaque nouveau voyage. Donc c'est beaucoup, beaucoup plus simple que de reconstruire complètement tous les clips ensemble. C'est pourquoi cela n'a pris que 30 minutes par voyage pour labeler automatiquement au lieu de plusieurs heures de labeling manuel. Et c'est aussi la clé de la scalabilité de cette machine. Cette machine s'étend facilement tant que nous avons des ressources de calcul et des données de voyage disponibles. Donc environ 50 voyages ont été nouvellement labélisés automatiquement à partir de cette scène et certains d'entre eux sont montrés ici. Donc 53 de différents véhicules. Donc c'est comme ça que nous capturons et transformons les tranches espace-temps du monde dans le réseau.
SupervisiSur. Ouais. Une chose que j'aimerais noter est que Yeagen vient de parler de la façon dont nous labélisons automatiquement nos lentilles. Mais nous avons des labels automatiques pour presque chaque tâche que nous faisons, y compris notre planificateur. Et beaucoup d'entre elles sont entièrement automatiques. Il n'y a pas d'humains impliqués. Par exemple, pour les objets, tous les cinématiques, les formes, leurs avenirs, tout vient simplement de l'auto labeling. Et c'est la même chose pour l'occupation aussi. Et nous avons vraiment juste construit une machine autour de ceci.
Tesla Presenter
Ouais. Donc si vous pouvez revenir à un,
Tesla Presenter
une de plus, il dit parallélisé sur cluster. Donc cela semble assez simple, mais ce ne l'était vraiment pas. Peut-être que c'est amusant de partager comment quelque chose comme ceci vient. Il y a un certain temps, nous n'avions aucun auto labeling du tout. Et puis quelqu'un écrit un script, il commence à fonctionner, il fonctionne mieux jusqu'à ce que nous atteignions un volume qui est assez élevé et nous avons clairement besoin d'une solution. Et il y avait deux autres ingénieurs dans notre équipe qui ont dit, vous savez, c'est une chose intéressante, vous savez. Ce que nous devions faire était de construire un graphique entier essentiellement de fonctions Python qui devraient s'exécuter l'une après l'autre. D'abord vous extrayez le clip, puis vous faites un peu de nettoyage, puis vous faites un peu d'inférence réseau, puis une autre inférence réseau. Et jusqu'à ce que vous obteniez enfin ceci. Mais vous devez faire cela à grande échelle. Donc je leur dis que nous avons probablement besoin de viser 100 000 clips par jour ou 100 000 articles. Cela semble bon. Et l'ingénieur a dit, eh bien, nous pouvons faire un peu de postgres et un peu d'huile de coude, nous pouvons le faire. Pendant ce temps, nous sommes un peu plus tard et nous faisons 20 millions de ces fonctions chaque jour. Encore une fois, nous tirons environ un demi-million de clips. Et sur ceux-ci nous exécutons des tonnes de fonctions, chacune d'elles de manière fluide. Et ainsi c'est une sorte d'infra backend qui est également nécessaire non seulement pour exécuter la formation, mais aussi l'auto labeling.
Ouais, c'est vraiment comme une usine qui produit des labels et comme les chaînes de production produisent de la qualité, des stocks. Comme tous les mêmes concepts s'appliquent à cette usine d'étiquettes. Cela s'applique à, vous savez, l'usine de nos voitures.
Tesla Presenter
C'est exact. D'accord, merci Tim et Ashok. Donc oui, en conclus cette section, j'aimerais partager quelques autres exemples challenging et intéressants pour le réseau pour sûr. Et même pour les humains probablement. Donc depuis le haut, il y a des exemples comme le manque de cas de lumière ou la nuit brumeuse ou le giratoire, et les occlusions par occlusions lourdes par des voitures garées et même la nuit pluvieuse avec des gouttes de pluie sur les objectifs des caméras. Ce sont des défis, mais une fois que leurs scènes originales sont complètement reconstruites par d'autres clips, tous peuvent être labélisés automatiquement de sorte que nos voitures peuvent conduire encore mieux à travers ces scénarios défis. Donc maintenant, permettez-moi de passer le micro à David pour en savoir plus sur la façon dont SIM crée le nouveau monde en haut de ces labels. Merci.
David (Tesla)
Merci, Yagan. Mon nom est David et je vais parler de simulation. La simulation joue donc un rôle critique en fournissant des données qui sont difficiles à sourcer et ou difficiles à étiqueter. Cependant, les scènes 3D sont notoirement lentes à produire. Prenez par exemple la scène simulée qui se joue derrière moi, une intersection complexe de la rue Market à San Francisco. Cela prendrait deux semaines pour que les artistes terminent et pour nous, c'est extrêmement lent. Cependant, je vais parler de l'utilisation des labels de vérité au sol automatisées de Yagen, ainsi que de quelques outils tout neufs qui nous permettent de générer procéduralement cette scène dans de nombreux cas similaires en seulement cinq minutes. C'est incroyable mille fois plus rapide qu'avant. Alors plongeons comment une scène comme celle-ci est créée. Nous commençons par canaliser les labels de vérité au sol automatisés dans notre outil de créateur de monde simulé à l'intérieur du logiciel Houdini. En commençant par les labels de limite de route, nous pouvons générer un maillage de route solide et le retopologiser avec les labels de graphique de voie. Cela aide à informer les détails de route importants comme la pente de carrefour et le mélange de matériau détaillé. Ensuite, nous pouvons utiliser les données de ligne et la géométrie de balayage sur sa surface et la projeter sur la route, créant des décalcomanies de peinture de voie. Ensuite, en utilisant des bords médians, nous pouvons générer une géométrie d'île et la remplir de feuillage aléatoire. Cela change drastiquement la visibilité de la scène. Maintenant, le monde extérieur peut être généré par une série d'heuristiques aléatoires, les générateurs de bâtiments modulaires créent des obstructions visuelles tandis que les objets placés aléatoirement comme les hydrants peuvent changer la couleur des bordures, tandis que les arbres peuvent laisser tomber des feuilles dessous, obscurcissant les lignes ou les bords. Ensuite, nous pouvons introduire des données cartographiques pour informer les positions des choses comme les feux de circulation ou les panneaux d'arrêt. Nous pouvons tracer le long de sa normale pour recueillir des informations importantes comme le nombre de voies et même obtenir des noms de rues exacts sur les panneaux eux-mêmes. Ensuite, en utilisant le graphique de voie, nous pouvons déterminer la connectivité de voie et générer des marquages de route directionnels sur la route et leurs panneaux routiers d'accompagnement. Et finalement, avec le graphique de voie lui-même, nous pouvons déterminer l'adjacence de voie et d'autres mesures utiles pour générer des permutations de trafic aléatoires à l'intérieur de notre simulateur. Et encore une fois, c'est tout automatique. Aucun artiste dans la boucle et cela se passe en quelques minutes. Et maintenant, cela nous met en place pour faire des choses assez cool. Puisque tout est basé sur des données et des heuristiques, nous pouvons commencer à moduler les paramètres pour créer des variations visuelles de la vérité au sol unique. Cela peut être aussi subtil que le placement d'objets et l'échange de matériaux aléatoires à des changements plus drastiques comme des biomes entièrement nouveaux ou des emplacements d'environnement comme urbain, suburbain ou rural. Cela nous permet de créer des permutations ciblées infinies pour des vérités au sol spécifiques dont nous avons besoin de plus de vérité au sol. Et tout cela se passe avec un clic sur un bouton. Et nous pouvons même aller plus loin en altérant notre vérité au sol elle-même. Disons que John veut que son réseau prête plus attention aux marquages directionnels de la route pour mieux détecter une voie de virage à gauche captive à venir. Nous pouvons commencer à altérer procéduralement notre graphique de voie à l'intérieur du simulateur pour aider à concentrer la création de flux entièrement nouveaux à travers cette intersection pour aider à concentrer l'attention du réseau sur les marquages routiers pour créer des prédictions plus précises. Et ceci est un excellent exemple de la façon dont cet outil nous permet de créer de nouvelles données qui ne peuvent jamais être collectées du monde réel. Et le vrai pouvoir de cet outil est dans son architecture et comment nous pouvons exécuter toutes les tâches en parallèle pour mettre à l'échelle infiniment. Donc vous avez vu l'outil de créateur de tuile en action, convertissant les labels de vérité au sol en leurs homologues. Ensuite, nous pouvons utiliser notre outil d'extracteur de tuile pour diviser ces données en tuiles geohash d'environ 150 mètres carrés. Nous sauvegardons ensuite ces données dans des fichiers de géométrie et d'instance séparés. Cela nous donne une source de données propre qui est facile à charger et nous permet d'être agnostique du moteur de rendu pour l'avenir. Ensuite, en utilisant un outil de chargeur de tuile, nous pouvons invoquer un nombre quelconque de ces tuiles de cache en utilisant un ID geohash. Actuellement, nous faisons environ ces tuiles 5 par 5 ou 3 par 3, généralement centrées autour des points chauds de la flotte ou des emplacements de graphiques de voie intéressants. Et le chargeur de tuile convertit également ces ensembles de tuiles en uassets pour la consommation par l'Unreal Engine et vous donne un produit fini de ce que vous avez vu sur la première diapositive. Et cela nous met vraiment en place pour la taille et l'échelle. Et comme vous pouvez le voir sur la carte derrière nous, nous pouvons facilement générer la plupart des rues de la ville de San Francisco. Et cela n'a pas pris des années ou même des mois de travail, mais plutôt deux semaines par une personne. Nous pouvons continuer à gérer et à développer toutes ces données en utilisant notre réseau PDG à l'intérieur de l'outil. Cela nous permet de lui lancer du calcul et de régénérer tous ces ensembles de tuiles pendant la nuit. Cela garantit que tous les environnements sont de qualité et de caractéristiques cohérentes, ce qui est super important pour la formation car de nouvelles ontologies et signaux sont constamment libérés. Et maintenant, pour boucler la boucle, parce que nous avons généré tous ces ensembles de tuiles à partir de données de vérité au sol qui contiennent toutes les subtilités étranges du monde réel. Et nous pouvons combiner cela avec la variété procédurale, visuelle et de trafic pour créer des données ciblées illimitées pour que le réseau apprenne. Et c'est la fin de la section sim. Je vais le passer à Kate pour parler de la façon dont nous pouvons utiliser toutes ces données pour améliorer autopilot. Merci.
Merci, David. Bonjour à tous, mon nom est Kate park et je suis ici pour parler du moteur de données, qui est le processus par lequel nous améliorons nos réseaux de neurones via les données. Nous allons vous montrer comment nous résolvons de manière déterministe les interventions via les données et vous guider à travers la vie de ce clip particulier. Dans ce scénario, l'autopilot s'approche d'un virage et prédit incorrectement que le véhicule qui traverse est arrêté pour le trafic et donc un véhicule pour lequel nous ralentissons. En réalité, il n'y a personne dans la voiture, c'est juste garé maladroitement. Nous avons construit cet outil pour identifier les fausses prédictions, corriger l'étiquette et catégoriser ce clip dans un ensemble d'évaluation. Ce clip particulier s'avère être l'un des 126 que nous avons diagnostiqués comme des voitures garées difficiles aux virages. Grâce à cette infra, nous pouvons organiser cet ensemble d'évaluation sans aucune ressource d'ingénierie personnalisée pour ce cas de défi particulier. Pour résoudre réellement ce cas de défi, il faut extraire des milliers d'exemples comme celui-ci, et c'est quelque chose que Tesla peut faire facilement. Nous utilisons simplement notre infrastructure d'approvisionnement en données, demandons des données et utilisons l'outil montré précédemment pour corriger les étiquettes. En ciblant chirurgicalement les fausses prédictions du modèle actuel, nous n'ajoutons que les exemples les plus précieux à notre ensemble d'entraînement. Nous avons corrigé chirurgicalement 13 900 clips, et parce que ces étaient des exemples où le modèle actuel a du mal, nous ne devons même pas changer l'architecture du modèle. Une simple mise à jour de poids avec ces nouvelles données précieuses est suffisante pour résoudre le cas de défi de chall. Donc vous voyez, nous ne prédisons plus que ce véhicule qui traverse est arrêté comme montré en orange, mais garé comme montré en rouge. En académie, nous voyons souvent que les gens gardent les données constantes, mais chez Tesla, c'est très l'opposé. Nous voyons, encore et encore que les données sont l'un des meilleurs, sinon le levier le plus déterministe pour résoudre ces interventions. Nous venons de vous montrer la boucle du moteur de données pour un cas de défi, à savoir ces voitures garées aux virages. Mais il y a de nombreux cas de défi, même pour un signal de mouvement de véhicule. Nous appliquons cette boucle du moteur de données à chaque cas de défi que nous avons diagnostiqué, qu'il s'agisse de bus, de routes sinueuses, de véhicules arrêtés, de parkings. Et nous n'ajoutons pas seulement des données une fois. Nous faisons cela encore et encore pour perfectionner la sémantique. En fait, cette année, nous avons mis à jour notre signal de mouvement de véhicule cinq fois. Et avec chaque mise à jour de poids entraînée sur les nouvelles données, nous poussons notre précision de mouvement de véhicule de plus en plus. Ce cadre de moteur de données s'applique à tous nos signaux, qu'il s'agisse de vidéo multicam 3D, que les données soient étiquetées par humain, auto-étiquetées ou simulées, qu'il s'agisse d'un modèle hors ligne ou d'un modèle en ligne. Et Tesla est capable de le faire à l'échelle grâce à l'avantage de la flotte, l'infra que notre équipe ENG a construite, les ressources d'étiquetage qui alimentent nos réseaux. Pour former sur tous ces données, nous avons besoin d'une quantité massive de calcul. Donc je vais le remettre à Pete et Ganesh pour parler de la plateforme de supercomputing Dojo. Merci.
Tesla Presenter
Merci, Katie.
Merci à tous. Merci d'avoir tenu bon. Nous y sommes presque. Mon nom est Pete Bannon. Je dirige les équipes de silicium personnalisé et de basse tension chez Tesla.
Tesla Presenter
Et mon nom est Ganesh Venkat.
Je dirige le programme Doja.
On me demande souvent, pourquoi une compagnie automobile construit-elle un superordinateur pour la formation? Et cette question comprend fondamentalement mal la nature de Tesla. Au cœur, Tesla est une compagnie technologique hardcore. Dans toute l'entreprise, des gens travaillent dur en science et en ingénierie pour faire avancer la compréhension et les méthodes fondamentales que nous avons disponibles pour construire des voitures, des solutions énergétiques, des robots et tout ce que nous pouvons faire pour améliorer la condition humaine autour du monde.
C'est une chose super excitante de faire partie et c'est un privilège de gérer une très petite pièce dans le groupe des semi-conducteurs. Ce soir, nous allons parler un peu de Dojo et vous donner une mise à jour sur ce que nous avons pu faire au cours de la dernière année. Mais avant de faire cela, je voulais donner un peu de contexte sur la conception initiale que nous avons commencé il y a quelques années. Quand nous avons commencé, l'objectif était de fournir une amélioration substantielle à la latence d'entraînement pour notre équipe autopilot. Certains des plus grands réseaux de neurones qu'ils entraînent aujourd'hui fonctionnent pendant plus d'un mois, ce qui inhibe leur capacité à explorer rapidement des alternatives et à les évaluer. Donc, vous savez, une accélération 30x serait vraiment agréable si nous pouvions la fournir d'une manière compétitive en coût et compétitive en énergie. Nous voulions construire une puce avec beaucoup d'unités arithmétiques que nous pourrions utiliser avec une très haute efficacité. Et nous avons passé beaucoup de temps à étudier si nous pouvions le faire en utilisant dram, diverses idées d'emballage, qui ont toutes échoué. Et à la fin, même si cela semblait un acte contre nature, nous avons décidé de rejeter DRAM comme moyen de stockage principal pour ce système et de nous concentrer plutôt sur SRAM intégré dans la puce. SRAM fournit malheureusement une capacité modeste, mais une bande passante extrêmement, extrêmement élevée et une latence très faible. Et cela nous permet d'atteindre une utilisation élevée avec les unités arithmétiques. Ces choix. Ce choix particulier a conduit à tout un tas d'autres choix. Par exemple, si vous voulez avoir une mémoire virtuelle, vous avez besoin de tables de pages. Ils occupent beaucoup d'espace. Nous n'avions pas d'espace, donc pas de mémoire virtuelle. Nous n'avons aussi pas d'interruptions. L'accélérateur est un morceau de matériel brut à obligations qui est présenté à un compilateur, et le compilateur est responsable de la programmation de tout ce qui se passe d'une manière déterministe. Il n'y a donc aucun besoin ni désir d'interruptions dans le système. Nous avons également choisi de poursuivre le parallélisme des modèles comme méthodologie d'entraînement, ce qui n'est pas la situation typique. La plupart des machines utilisent aujourd'hui le parallélisme des données, qui consomme une capacité mémoire supplémentaire, que nous n'avons évidemment pas. Tous ces choix nous ont donc menés à construire une machine assez radicalement différente de ce qui est disponible aujourd'hui. Nous avions également un tas d'autres objectifs. L'un des plus importants était l'absence de limites. Nous voulions donc construire un tissu de calcul qui s'étendrait de manière non liée pour la plupart. Je veux dire, évidemment il y a des limites physiques de temps en temps, mais tu sais, à peu près si ton modèle était trop gros pour l'ordinateur, tu dois simplement acheter un plus gros ordinateur. C'est ce que nous cherchions aujourd'hui. La façon dont les machines en paquets sont emballées, il y a un ratio assez fixe de, par exemple, GPUs, CPUs et capacité DRAM et capacité réseau. Et nous voulions vraiment désagréger tout cela pour que, au fur et à mesure que les modèles évoluaient, nous puissions varier les ratios de ces différents éléments et rendre le système plus flexible pour répondre aux besoins de l'autopilot.
Tesla Presenter
Équipe. Ouais, et c'est tellement vrai, Pete, comme
La philosophie sans limites était notre étoile directrice tout du long.
Felix (Tesla)
Tous nos choix étaient centrés autour de
Tesla Presenter
cela et au point que nous
ne voulions pas que l'infrastructure traditionnelle du centre de données
Felix (Tesla)
limite notre capacité à exécuter ces programmes à grande vitesse.
C'est pourquoi nous. C'est pourquoi nous.
Désolé pour ça. C'est pourquoi nous avons intégré verticalement nos données
Felix (Tesla)
centre, le centre de données entier.
En faisant une intégration verticale du centre de données, nous pourrions extraire de nouveaux niveaux d'efficacité. Nous pourrions optimiser l'alimentation électrique, le refroidissement et
Felix (Tesla)
ainsi que la gestion du système dans
l'ensemble de la pile du centre de données.
Plutôt que de faire boîte par boîte et d'intégrer ces boîtes dans des centres de données.
Tesla Presenter
Et pour faire cela, nous voulions aussi
intégrer tôt pour déterminer les limites d'échelle pour nos charges de travail logicielles. Nous avons donc intégré très tôt l'environnement Dojo dans nos logiciels Autopilot et nous avons appris de nombreuses leçons. Et aujourd'hui, Bill Chang examinera notre mise à jour matérielle ainsi que certains des défis auxquels nous avons fait face en cours de route. Et Rajiv Kurian vous donnera un aperçu de notre technologie de compilateur ainsi que
Felix (Tesla)
examinera certains de nos excellents résultats.
Tesla Presenter
Merci, Pete. Merci, Ganesh. Je commencerai ce soir par une vision de haut niveau de notre système qui aidera à poser les bases pour les défis et les problèmes que nous résolvons, et aussi comment les logiciels exploiteront cela pour les performances. Maintenant, notre vision pour Dojo est de construire un seul accélérateur unifié, très grand. Les logiciels verraient un plan de calcul transparent avec une mémoire très rapide adressable mondialement, tous connectés ensemble avec une bande passante uniforme et élevée et une faible latence. Maintenant, pour réaliser cela, nous devons utiliser la densité pour atteindre les performances. Nous exploitons maintenant la technologie pour obtenir cette densité afin de briser les niveaux de hiérarchie du chip au système d'extension. Maintenant, la technologie du silicium a utilisé cela, a fait cela pendant des décennies. Les puces ont suivi la loi de Moore pour l'intégration de la densité pour obtenir une mise à l'échelle des performances. Maintenant, une étape clé dans la réalisation de cette vision était notre tuile d'entraînement. Non seulement nous pouvons intégrer 25 dies à une bande passante extrêmement élevée, mais nous pouvons le mettre à l'échelle à n'importe quel nombre de tuiles supplémentaires en les connectant simplement ensemble. Maintenant, l'année dernière, nous avons présenté notre première tuile d'entraînement fonctionnelle, et à ce moment-là, nous avions déjà des charges de travail qui fonctionnaient dessus. Et depuis, l'équipe ici a travaillé dur et avec diligence pour le déployer à grande échelle. Maintenant, nous avons fait des progrès incroyables et eu de nombreux jalons en cours de route, et bien sûr, nous avons eu beaucoup de défis inattendus. Mais c'est là que notre philosophie d'échec rapide nous a permis de repousser nos limites. Maintenant, repousser la densité pour les performances présente tous les nouveaux défis. Un domaine est la livraison d'énergie. Ici, nous devons fournir de la puissance à notre die de calcul. Et cela impacte directement nos performances de calcul top line. Mais nous devons le faire à une densité sans précédent. Nous devons être en mesure de correspondre à notre pitch de die avec une densité de puissance d'environ 1 ampère par millimètre carré. Et en raison de l'intégration extrême, cela doit être une solution d'alimentation verticale multi-niveaux. Et parce qu'il y a une pile de matériaux hétérogènes complexe, nous devons gérer soigneusement la transition matérielle, en particulier le CTE. Maintenant, pourquoi le coefficient de dilatation thermique a-t-il de l'importance dans ce cas? Le CTE est une propriété matérielle fondamentale, et s'il n'est pas soigneusement géré, cette pile s'arracherait littéralement. Nous avons donc commencé cet effort en travaillant avec des fournisseurs pour développer cette solution d'alimentation. Mais nous nous sommes rendu compte que nous devions vraiment développer cela en interne. Maintenant, pour équilibrer l'horaire et les risques, nous avons construit des itérations rapides pour soutenir à la fois notre mise en place du système et notre développement logiciel, et aussi pour trouver la conception optimale et le pile qui répondrait à nos objectifs de production finaux. Et à la fin, nous avons pu réduire le CTE de plus de 50% et atteindre nos performances 3x par rapport à notre version initiale. Inutile de dire que trouver cet empilage de matériaux optimal tout en maximisant les performances à la densité est extrêmement difficile. Maintenant, nous avons eu des défis inattendus en cours de route. Voici un exemple où nous avons repoussé les limites de l'intégration qui ont entraîné des défaillances de composants. Cela a commencé quand nous avons augmenté à des charges de travail plus grandes et plus longues. Et puis intermittent, un seul site sur une tuile échouerait. Maintenant, ils ont commencé comme des défaillances récupérables, mais comme nous avons poussé une puissance beaucoup plus élevée, celles-ci deviendraient des défaillances permanentes. Maintenant, pour comprendre cet échec, vous devez comprendre pourquoi et comment nous construisons nos modules d'alimentation. Résoudre la densité à chaque niveau est la pierre angulaire de la réalisation réelle de notre système de performance. Maintenant, parce que notre plan XY est utilisé pour la communication à haute bande passante, tout le reste doit être empilé verticalement. Cela signifie que tous les autres composants autres que notre die doivent être intégrés dans nos modules d'alimentation. Cela inclut maintenant notre horloge, nos alimentations électriques et aussi nos contrôleurs système. Maintenant, dans ce cas, les défaillances ont été causées par la perte de sortie d'horloge de nos oscillateurs. Et après un débogage approfondi, nous avons découvert que la cause première était due aux vibrations du module causées par des effets piézoélectriques sur les condensateurs à proximité. Maintenant, les condensateurs chanteurs ne sont pas un phénomène nouveau et en fait très courants dans la conception électrique. Mais normalement, les puces d'horloge sont placées dans une zone très calme de la carte et souvent non affectées par les circuits d'alimentation. Mais parce que nous devions atteindre ce niveau d'intégration, ces oscillateurs doivent être placés à très proximité. Maintenant, en raison de notre fréquence de commutation et de la résonance de vibration créée. Cela a causé une vibration hors plan sur notre oscillateur MEMS qui l'a fait se fissurer. Maintenant, la solution à ce problème est une approche multi-branches. Nous pouvons réduire la vibration en utilisant des capuchons de terminaison souples. Nous pouvons mettre à jour notre pièce MEMS avec un facteur Q inférieur pour la direction hors plan. Et nous pouvons aussi mettre à jour notre fréquence de commutation pour repousser la résonance loin de ces bandes sensibles. Maintenant, en plus de la densité au niveau du système, nous avons fait beaucoup de progrès au niveau de l'infrastructure. Nous savions que nous devions réexaminer chaque aspect de l'infrastructure du centre de données pour soutenir notre densité d'alimentation et de refroidissement sans précédent. Nous avons apporté une CDU spécialement conçue pour soutenir les exigences de refroidissement dense de Dojo. Et la partie étonnante est que nous sommes en mesure de le faire à une fraction du coût par rapport à l'achat hors étagère et sa modification. Et puisque notre armoire Dojo intègre suffisamment de puissance et de refroidissement pour correspondre à une rangée entière de racks informatiques standard, nous devons concevoir avec soin notre armoire et notre infrastructure ensemble. Et nous avons déjà parcouru plusieurs itérations de cette armoire pour optimiser cela. Et plus tôt cette année, nous avons commencé les tests de charge de notre infrastructure d'alimentation et de refroidissement. Et nous avons pu le pousser à plus de 2 mégawatts avant d'avoir déclenché notre sous-station et reçu un appel de la ville. Maintenant, l'année dernière, nous avons introduit seulement quelques composants de notre système. Le die D1 personnalisé et la tuile d'entraînement. Mais nous taquinons le pod de sortie comme notre objectif final. Nous allons parcourir les parties restantes de notre système qui sont nécessaires pour construire ce pod de sortie. Maintenant, le bac système est une partie clé de la réalisation de notre vision d'un seul accélérateur. Il nous permet de connecter de manière transparente les tuiles ensemble, non seulement dans l'armoire mais entre les armoires. Nous pouvons connecter ces tuiles à un très petit espacement à travers l'ensemble de l'accélérateur. Et c'est ainsi que nous réalisons notre communication uniforme. Ceci est une barre omnibus laminée qui nous permet d'intégrer une alimentation très élevée, un support mécanique et thermique et une intégration extrêmement dense. Il a une hauteur de 75 millimètres et supporte six tuiles à 135 kilogrammes. Cela équivaut à trois ou quatre racks haute performance complètement chargés. Ensuite, nous devons alimenter les données aux tuiles d'entraînement. C'est ici que nous avons développé le processeur d'interface Dojo. Il fournit à notre système une DRAM à haut débit pour mettre en scène nos données d'entraînement. Et il fournit la bande passante mémoire complète à nos tuiles d'entraînement en utilisant TTP, notre protocole personnalisé que nous utilisons pour communiquer sur l'ensemble de notre accélérateur. Il dispose également d'un Ethernet haute vitesse qui nous aide à étendre ce protocole personnalisé sur Ethernet standard. Et nous fournissons un support matériel natif pour cela avec peu ou pas de surcharge logicielle. Et enfin, nous pouvons nous y connecter via une interface PCIe gen 4 standard. Maintenant, nous appairons 20 de ces cartes par bac et cela nous donne 640 gigaoctets de DRAM haute bande passante. Et cela fournit notre couche de mémoire désagrégée pour nos tuiles d'entraînement. Ces cartes sont notre chemin d'ingestion haute bande passante à la fois via PCIe et Ethernet. Ils fournissent également un chemin de connectivité Radex Z élevé qui permet des raccourcis à travers notre grand accélérateur dojo. Maintenant, nous intégrons réellement l'hôte directement sous notre bac système. Ces hôtes fournissent notre traitement d'ingestion et se connectent à nos processeurs d'interface via PCIe. Ces hôtes peuvent fournir un support de décodeur vidéo matériel pour la formation basée sur la vidéo. Et nos applications utilisateur atterrissent sur ces hôtes pour que nous puissions les fournir avec l'environnement Linux x86 standard. Maintenant, nous pouvons mettre deux de ces ensembles dans une armoire et les associer à des alimentations électriques redondantes qui convertissent directement une puissance CA 3 phases 480 volts en puissance CC 52 volts. Maintenant, en se concentrant sur la densité à chaque niveau, nous pouvons réaliser la vision d'un seul accélérateur. Maintenant, en commençant par les nœuds uniformes de notre die D1 personnalisé, nous pouvons les connecter ensemble dans notre tuile d'entraînement entièrement intégrée, puis finalement les connecter de manière transparente à travers les limites de l'armoire pour former notre accélérateur dojo. Et ensemble, nous pouvons loger deux accélérateurs complets dans notre pod de sortie pour un seul. Un exaflop de calcul ML. Maintenant, ensemble. Cette quantité de technologie et d'intégration n'a été faite que quelques fois dans l'histoire de l'informatique. Ensuite, nous verrons comment les logiciels peuvent l'utiliser pour accélérer leurs performances.
Eric (Tesla)
Merci, Bill. Mon nom est Rajeev et je vais parler de quelques chiffres. Ainsi, notre pile logicielle commence par l'extension PyTorch. Cela parle de notre engagement à exécuter les modèles PyTorch standard hors de la boîte. Nous allons parler plus sur notre compilateur JIT et le pipeline d'ingestion qui alimente le matériel avec les données. Abstraitement, les performances sont les sommets fois l'utilisation fois l'occupation de l'accélérateur. Nous avons vu comment le matériel fournit les performances de pointe. C'est le travail du compilateur d'extraire l'utilisation du matériel tandis que le code s'exécute dessus. Et c'est le travail du pipeline d'ingestion de s'assurer que les données peuvent être alimentées à un débit suffisamment élevé pour que le matériel ne manque jamais. Parlons donc de pourquoi les modèles liés à la communication sont difficiles à dimensionner. Mais avant cela, voyons pourquoi les modèles comme Resnet50 sont plus faciles à dimensionner. Nous commençons par un seul accélérateur, exécutons les passes avant et arrière suivi par l'optimiseur. Ensuite, pour le mettre à l'échelle, vous exécutez plusieurs copies de ceci sur plusieurs accélérateurs. Et bien que les gradients produits par la rétroaction doivent être réduits et cela introduit une certaine communication, cela peut être fait en pipeline avec la rétroaction. Cette configuration se met à l'échelle assez bien presque linéairement. Pour les modèles avec des activations beaucoup plus grandes, nous rencontrons un problème dès que nous voulons exécuter la passe avant. La taille de lot qui rentre dans un seul accélérateur est souvent plus petite que la surface de norme de lot. Donc, pour contourner cela, les chercheurs exécutent généralement la configuration sur plusieurs accélérateurs en mode de norme de lot synchronisé. Cela introduit une communication liée à la latence sur le chemin critique de la passe avant et nous avons déjà un goulot d'étranglement de communication. Et bien qu'il y ait des moyens de contourner cela, ils impliquent généralement un travail manuel fastidieux qui convient mieux à un compilateur. Et en fin de compte, il n'y a aucun moyen de contourner le fait que si votre état ne rentre pas dans un seul accélérateur, vous pouvez être limité par la communication. Et même avec des efforts importants de nos ingénieurs ML, nous voyons que ces modèles ne se mettent pas à l'échelle linéairement. Le système Dojo a été construit pour faire fonctionner ces modèles à une utilisation élevée. L'intégration à haute densité a été construite non seulement pour accélérer les portions liées au calcul d'un modèle, mais aussi les portions liées à la latence comme une norme de lot ou les portions liées à la bande passante comme un dégradé tout réduire ou un paramètre tout rassembler. Une tranche du maillage Dojo peut être découpée pour exécuter n'importe quel modèle. La seule chose que vous devez faire est de rendre la tranche assez grande pour adapter une surface de salle de lot pour leur modèle particulier. Après cela, la partition se présente comme un grand accélérateur, libérant les utilisateurs de devoir se soucier des détails internes de l'exécution, et c'est le travail du compilateur de maintenir cette abstraction. Les primitives de synchronisation fine et la faible latence uniforme facilitent l'accélération de toutes les formes de parallélisme à travers les limites d'intégration. Les tenseurs sont généralement stockés fragmentés dans SRAM et répliqués juste à temps pour l'exécution des couches. Nous comptons sur la bande passante élevée de Dojo pour masquer ce temps de réplication. La réplication des tenseurs et autres transferts de données se chevauchent avec le calcul et le compilateur peut également recalculer les couches. Quand c'est rentable de le faire,
Eric (Tesla)
nous nous attendons à ce que la plupart des modèles fonctionnent hors de la boîte. Par exemple, nous avons pris le modèle de diffusion stable récemment publié et l'avons fait fonctionner sur Dojo en quelques minutes hors de la boîte. Le compilateur a pu le mapper d'une manière parallèle au modèle sur 25 dies dojo. Voici quelques photos d'un Cybertruck sur Mars générées par une diffusion stable fonctionnant sur Dojo. On dirait que cela a encore du chemin à faire avant de correspondre à l'équipe Tesla Design Studio. Nous avons donc parlé de la façon dont les goulots d'étranglement de communication peuvent entraver l'évolutivité. Peut-être un test acide d'un compilateur. Et le matériel sous-jacent exécute une couche de norme de lot de type croisé. Comme mentionné avant, cela peut être un goulot d'étranglement en série. La phase de communication d'une norme de lot commence par les nœuds calculant leurs moyennes locales et écarts-types, puis en coordonnant pour réduire ces valeurs, puis en diffusant ces valeurs en arrière, puis ils reprennent leur travail en parallèle.
Eric (Tesla)
À quoi ressemblerait une forme de lot idéale sur 25 dés dojo? Supposons que les activations de la liste précédente sont déjà réparties sur les dés. Nous nous attendons à ce que les 350 nœuds sur chaque die se coordonnent et produisent des valeurs de moyenne et d'écart-type locaux. Idéalement, ceux-ci seraient davantage réduits avec la valeur finale se terminant quelque part vers le milieu du carrelage. Nous espérions alors voir une diffusion de cette valeur rayonnant du centre. Voyons comment le compilateur exécute réellement une opération réelle de tambour de lot sur 25 dés. Les arbres de communication ont été extraits du compilateur et le timing provient d'une exécution matérielle réelle. Nous sommes sur le point de voir 8 750 nœuds sur 25 meurt en coordonnant pour réduire puis diffuser les valeurs moyennes et d'écart-type de Bastrum réduction locale suivi d'une réduction globale vers le milieu de la cravate. Ensuite, le broadcast de valeur réduite rayonnant du milieu, accéléré par la fonction de diffusion du matériel. Cette opération ne prend que 5 microsecondes sur 25 dés dojo. La même opération prend 150 microsecondes sur 24 GPU. Ceci est une amélioration de plusieurs ordres de grandeur par rapport aux GPU. Et bien que nous ayons parlé d'une opération entièrement réduite dans le contexte d'une norme de lot, il est important de réitérer que les mêmes avantages s'appliquent à toutes les autres primitives de communication. Et ces primitives sont essentielles pour la formation à grande échelle. Alors, comment se comportent les modèles complets? Donc, bien que nous pensions que Resnet50 n'est pas une bonne représentation des charges de travail Tesla du monde réel, c'est un benchmark standard. Alors commençons par là. Nous sommes déjà en mesure de correspondre à la A100 die for die. Cependant, peut-être un indice des capacités de Dojo est que nous sommes en mesure d'atteindre ce chiffre avec juste un lot de huit par die. Mais Dojo a vraiment été construit pour s'attaquer à des modèles plus complexes et plus grands. Donc, quand nous nous sommes donné pour but de s'attaquer aux charges de travail du monde réel, nous avons examiné les modèles d'utilisation de notre cluster GPU actuel et deux modèles se sont distingués. Les réseaux d'étiquetage automatique, une classe de modèles hors ligne utilisés pour générer la vérité terrestre, et les réseaux d'occupation dont vous avez entendu parler les réseaux d'étiquetage automatique sont de grands modèles qui ont une intensité arithmétique élevée, tandis que les réseaux d'occupation peuvent être liés à l'ingestion. Nous avons choisi ces modèles parce que, ensemble, ils représentent une grande partie de notre utilisation actuelle du cluster GPU. Et ils mettraient le système au défi de différentes manières. Alors, comment nous avons fait sur ces deux réseaux? Les résultats que nous sommes sur le point de voir ont été mesurés sur des systèmes multi-dies pour à la fois le GPU et Dojo, mais normalisés aux nombres par die. Sur notre réseau d'étiquetage automatique, nous sommes déjà en mesure de surpasser les performances d'une A100 avec notre matériel actuel fonctionnant sur nos VRM de génération plus ancienne. Sur notre matériel de production avec nos nouveaux VRM, cela se traduit par un doublement du débit d'une A100. Et notre modèle a montré qu'avec certaines optimisations clés du compilateur, nous pourrions obtenir plus de 3 fois les performances d'une A100. Nous voyons des sauts encore plus importants sur le réseau d'occupation, presque 3 fois avec notre matériel de production avec de la place pour plus. Alors, qu'est-ce que cela signifie pour Tesla? Avec le niveau de performance du compilateur actuel? Nous pourrions remplacer le calcul ML de 1, 2, 3, 4, 5 et 6 boîtes GPU avec un seul carrelage Dojo. Et ce carrelage Dojo coûte moins que 1 de ces boîtes GPU. Ce que cela signifie vraiment, c'est que les réseaux qui ont pris plus d'un mois à former ne prennent maintenant moins d'une semaine. Hélas, quand nous avons mesuré les choses, les choses ne se sont pas bien passées. Au niveau de pytorch, nous n'avons pas vu nos performances attendues dès le départ. Et ce graphique chronologique montre notre problème. Les minuscules petites barres vertes, c'est le code compilé exécuté sur l'accélérateur. La ligne est surtout des espaces blancs où le matériel attend juste les données. Avec notre calcul ML dense, les hôtes Dojo ont effectivement 10 fois plus de calcul ML que l'hôte GPU. Les chargeurs de données exécutés sur cet hôte ne pouvaient tout simplement pas suivre tout ce matériel ML. Donc, pour résoudre nos problèmes de scalabilité des chargeurs de données, nous savions que nous devions dépasser la limite de cet hôte unique. Le protocole de transport Tesla déplace les données de manière transparente entre les tuiles hôtes et les processeurs d'ingestion. Nous avons donc étendu le protocole de transport Tesla pour fonctionner sur Ethernet. Nous avons ensuite construit la carte d'interface réseau Dojo, la dnic, pour exploiter TTP sur Ethernet. Cela permet à n'importe quel hôte ayant une carte DNIC de pouvoir DMA vers et à partir d'autres points d'extrémité TTP. Nous avons donc commencé par le maillage Dojo. Ensuite, nous avons ajouté un niveau d'hôtes de chargement de données équipés de la carte DNIC. Nous avons connecté ces hôtes au maillage via un commutateur Ethernet. Maintenant, chaque hôte dans cette couche de chargement de données est capable d'atteindre tous les points d'extrémité TTP dans le maillage dojo via DMA accéléré par matériel. Après ces optimisations, notre occupation est passée de 4% à 97%. Donc, les sections de chargement de données ont été réduites, Les sections de chargement de données ont été réduites drastiquement et le matériel ML est tenu occupé. Nous nous attendons vraiment à ce que ce nombre atteigne 100% assez bientôt après que ces changements ont été mis en place. Nous avons vu l'accélération complète attendue de la couche Pytorch et nous étions de retour en affaires. Nous avons donc commencé avec une conception matérielle qui brise les limites d'intégration traditionnelles au service de notre vision d'un seul accélérateur géant. Nous avons vu comment les couches du compilateur et de l'ingestion s'appuient sur ce matériel. Donc, après avoir prouvé nos performances sur ces réseaux complexes du monde réel, nous savions quel serait l'objectif de notre premier déploiement à grande échelle. Notre réseau d'étiquetage automatique à intensité arithmétique élevée aujourd'hui qui occupe 4 000 GPU, plus de 72 racks GPU. Avec notre calcul dense et nos hautes performances, nous nous attendons à fournir le même débit avec seulement quatre armoires dojo. Et ces quatre armoires dojo feront partie de notre premier exopod que nous prévoyons de construire d'ici le premier trimestre de 2023. Cela plus que doublera la capacité d'étiquetage automatique de Tesla. Le premier exapot fait partie d'un total de sept pièces de sortie que nous prévoyons de construire à Palo Alto. Juste ici à travers le mur. Et nous avons une armoire de présentation d'un de ces exapods ici pour que tout le monde puisse regarder. Six tuiles densément emballées sur un plateau. 54 pétaflops de calcul, 640 gigaoctets de mémoire à haut débit avec l'alimentation et l'hôte battus beaucoup de calcul. Et nous construisons de nouvelles versions de tous nos composants de cluster et améliorons constamment nos logiciels pour atteindre les nouvelles limites d'échelle. Nous croyons que nous pouvons obtenir une amélioration de 10x supplémentaire avec notre matériel de prochaine génération. Et pour réaliser nos objectifs ambitieux, nous avons besoin des meilleurs ingénieurs logiciels et matériels. Alors s'il vous plaît, venez nous parler ou visitez tesla.com merci.
D'accord, j'espère que c'était assez de détails et maintenant nous pouvons passer aux questions. Et les gars, je pense que l'équipe est descendue sur scène et nous voulions vraiment montrer la profondeur et l'ampleur de Tesla en intelligence artificielle, calcul, matériel, actionneurs de robotique, et essayer de vraiment changer la perception de la société. Beaucoup de gens pensent que nous sommes juste une compagnie automobile ou que nous faisons des voitures cool, quoi qu'il en soit, mais ils n'ont pas. La plupart des gens n'ont aucune idée que Tesla est sans doute le leader du matériel et des logiciels d'IA du monde réel et que nous construisons ce qui est sans doute le premier, l'architecture informatique la plus radicale depuis l'ordinateur superordinateur à la cire de bougie. Et je pense que si vous êtes intéressé à développer certaines, certaines des technologies les plus avancées au monde qui vont vraiment affecter le monde de manière positive, Tesla est l'endroit où être. Donc, ouais, entrons dans le détail avec quelques questions. Je pense qu'il y a, il y a un micro à l'avant et un micro à l'arrière.
Jetez juste des micros aux gens, sautez. Tout pour le micro.
Tesla Presenter
Ouais. Bonjour.
J'ai été impressionné ici.
Ouais, j'ai été très impressionné par Optimus.
Mais je me demande pourquoi tendon conduit la main?
Pourquoi avez-vous choisi une approche basée sur les tendons pour la main?
Tesla Presenter
Parce que les tendons ne sont pas très durables.
Tesla Presenter
Lou, c'est cool?
Felix (Tesla)
Génial. Oui, c'est une bonne question. Vous savez, en ce qui concerne tout type de système d'actionnement, il y a des compromis entre, vous savez, si oui ou non c'est un système entraîné par des tendons ou un type de système basé sur des liaisons.
Gardez juste le micro proche de votre
Tesla Presenter
bouche, un peu plus près.
Tesla Presenter
Écoutez-moi. Cool.
Felix (Tesla)
Donc, ouais, la raison principale pour laquelle nous avons opté pour un système basé sur les tendons est que, vous savez, d'abord nous avons réellement enquêté sur certains tendons synthétiques, mais nous avons découvert que les câbles de bateau métalliques sont, vous savez, beaucoup plus forts. L'un des avantages de ces câbles est qu'il est très bon pour la réduction des pièces. Nous voulons faire beaucoup de ces mains. Donc, avoir beaucoup de pièces, beaucoup de petites liaisons finit par être, vous savez, un problème quand on fait beaucoup de quelque chose. L'une des grandes raisons pour laquelle, vous savez, les tendons sont meilleurs que les liaisons en un sens c'est que vous pouvez être contre le jeu. Donc, l'anti-jeu essentiellement, vous savez, vous permet de ne pas avoir d'écarts ou, vous savez, de mouvement bégayant dans vos doigts. Ressort chargé, principalement ce que la ressort chargée nous permet de faire est nous permet d'avoir une ouverture active. Donc, au lieu d'avoir deux actionneurs pour fermer les doigts puis les ouvrir, nous avons la capacité de avoir le tendon les fermer puis les ressorts s'étendre passivement. Et c'est quelque chose qu'on voit aussi dans nos mains.
Felix (Tesla)
Nous avons la capacité de fléchir activement et nous avons aussi la capacité de s'étendre.
Notre objectif avec Optimus est d'avoir un robot qui est au maximum utile aussi rapidement que possible. Il y a donc beaucoup de façons de résoudre les différents problèmes d'un robot humanoïde et probablement pas aboyer le bon arbre sur toutes les solutions techniques. Et je dois dire que nous sommes ouverts à l'évolution des solutions techniques que vous voyez ici au fil du temps. Ils ne sont pas gravés dans la pierre, mais nous devons choisir quelque chose, et nous voulons choisir quelque chose qui va nous permettre de produire le robot aussi rapidement que possible et avoir, comme je l'ai dit, utile aussi rapidement que possible. Nous essayons de suivre le. L'objectif du chemin le plus rapide vers un robot utile qui peut être fabriqué en volume. Et nous allons tester le robot en interne chez Tesla dans nos usines et voir, c'est utile? Parce que vous devez avoir un. Vous allez fermer la boucle sur la réalité pour confirmer que le robot est en fait utile. Et. Ouais, nous allons juste l'utiliser pour construire des choses et nous sommes confiants que nous pouvons le faire avec la main que nous avons actuellement conçue. Mais bien sûr, il y aura une main version 2, version 3, et nous pouvons changer l'architecture assez significativement au fil du temps.
Bonjour. Le robot Optimus est vraiment impressionnant. Vous avez fait un excellent travail. Les robots bipèdes sont vraiment difficiles. Mais ce que j'ai remarqué, ce qui pourrait manquer de votre plan, c'est de reconnaître l'utilité de l'esprit humain. Et je me demande si Optimus aura jamais une personnalité et pourra rire de nos blagues tandis que. Tandis qu'il plie nos vêtements.
Ouais, absolument. Je pense que nous voulons avoir des versions vraiment amusantes d'Optimus et pour qu'Optimus puisse être à la fois utilitaire et accomplir des tâches, mais puisse aussi être comme un ami et un copain et traîner avec vous. Et je suis sûr que les gens penseront à toutes sortes d'utilisations créatives pour ce robot. Et, vous savez, une fois que vous avez compris l'intelligence centrale et les actionneurs, alors vous pouvez réellement, vous savez, mettre toutes sortes de costumes, je suppose, sur le robot. Je veux dire, vous pouvez fabriquer le robot
vous pouvez revêtir le robot de nombreuses façons différentes et je suis sûr que les gens trouveront des façons très intéressantes de le faire. Ouais. Versions d'Optimus. Donc. Merci pour la grande présentation.
Felix (Tesla)
Je voulais savoir s'il y avait un équivalent aux interventions dans Optimus.
Il semble que l'étiquetage à travers les moments où
les humains ne sont pas d'accord avec ce qui se passe est important. Et dans un robot humanoïde, cela pourrait
être aussi une source d'information souhaitable.
Ouais, je pense que nous aurons des moyens d'exploiter le robot à distance et d'intervenir quand il fait quelque chose de mauvais, surtout quand nous entraînons le robot et que nous l'élevons et j'espère que nous, vous savez, le concevons d'une manière que nous pouvons arrêter le robot de. S'il va frapper quelque chose, nous pouvons simplement le tenir et puis il s'arrêtera. Ce ne sera pas, vous savez, écraser votre main ou quelque chose. Et ce sont toutes des données d'intervention.
Et nous pouvons aussi apprendre beaucoup de nos systèmes de simulation, où nous pouvons vérifier les collisions et superviser que ce sont des actions mauvaises.
Ouais, je veux dire, alors Optimus, nous voulons qu'au fil du temps il soit, vous savez, un Android. Le type d'Android que vous avez vu dans les films de science-fiction comme Star Trek, The Next Generation, comme Data. Mais évidemment, nous pourrions programmer le robot pour être moins robot et plus amical. Et, vous savez, il peut évidemment apprendre à émuler les humains et se sentir très naturel. Donc, à mesure que l'IA en général s'améliore, nous pouvons l'ajouter au robot et il devrait évidemment être capable de faire des instructions simples ou même d'intuitionner ce que vous voulez. Donc vous pourriez lui donner une instruction de haut niveau et puis il peut la décomposer en une série d'actions et prendre ces actions.
Tesla Presenter
Salut. Ouais, c'est excitant de penser qu'avec Optimus vous penserez que vous
pouvez atteindre des ordres de grandeur d'amélioration de la production économique. C'est vraiment passionnant.
Tesla Presenter
Et quand Tesla a commencé, la mission était
d'accélérer l'avènement de l'énergie renouvelable ou du transport durable. Donc avec Optimus, faites-vous encore
Tesla Presenter
voir cette mission comme l'énoncé de mission de Tesla ou va-t-il
être mise à jour avec, vous savez, mission d'accélérer l'avènement de, je ne sais pas,
Tesla Presenter
l'abondance infinie ou l'économie sans limites?
Ouais, je veux dire, ce n'est pas strictement parlant, Optimus n'est pas strictement parlant directement en ligne avec l'accélération de l'énergie durable
le degré où il est plus efficace pour accomplir les choses qu'une personne. Cela aide, je suppose, l'énergie durable. Mais je pense que la mission s'élargit effectivement quelque peu avec l'avènement d'Optimus à, je ne sais pas, rendre l'avenir génial. Donc je pense que vous regardez Optimus et je sais de vous, mais je suis excité de voir ce qu'Optimus deviendra. Et vous savez, c'est comme, vous savez, si vous pouviez, je veux dire, vous pouvez dire n'importe quelle technologie donnée,
toi, veux-tu voir ce que c'est dans un an, 2 ans, 3 ans, 4 ans, 5 ans, 10? Je dirais avec certitude. Vous voulez définitivement voir ce qui se passe avec Optimus, alors que, vous savez, un tas d'autres technologies sont, vous savez, sort of plateaued. Ne nommez pas de noms ici, mais. Vous savez, donc je pense qu'Optimus sera incroyable dans environ 5 ans, 10 ans, comme hallucinant. Et j'ai vraiment hâte de voir cela se produire et j'espère que vous aussi. J'ai une question rapide ici.
Eric (Tesla)
Je suis Justin et je me demandais, avez-vous l'intention d'étendre les capacités conversationnelles du robot? Et ma deuxième question de suivi à
cela est, quel est l'objectif final?
Quel est l'objectif final avec Optimus? Ouais, Optimus aurait définitivement des capacités conversationnelles. Donc vous seriez capable de lui parler et d'avoir une conversation et ce serait assez naturel. Donc du point de vue de l'objectif final, je ne sais pas. Je pense qu'il va continuer à évoluer et je ne suis pas sûr où il finit, mais quelque part intéressant certainement. Vous savez, nous devons toujours être prudents à ce sujet, vous savez, ne descendez pas le chemin de Terminator. C'est, vous savez, je pensais que nous pourrions, peut-être devrions-nous commencer avec une vidéo comme Terminator commençant par ce, vous savez, écrasement du crâne. Mais cela pourrait être une sorte de. Les gens pourraient le prendre trop au sérieux. Donc, vous savez, nous voulons qu'Optimus soit sûr. Donc nous concevons des garanties où vous pouvez arrêter localement le robot et vous savez, avec fondamentalement une ROM de contrôle de contrôle localisée que vous ne pouvez pas mettre à jour via Internet, ce que je pense est tout à fait important, essentiel franchement. Donc comme un bouton d'arrêt localisé
commande à distance, quelque chose comme ça, qui ne peut pas être changé. Mais ce sera définitivement intéressant. Ce ne sera pas ennuyeux. D'accord.
Eric (Tesla)
Je vous vois aujourd'hui.
Tesla Presenter
Vous avez un produit très attrayant avec Dojo et ses applications. Alors je me demande quel est l'avenir pour la plate-forme Dojo? Voulez-vous comme fournir comme infrastructure et service comme aws ou vous allez aimer vendre le chip comme le Nvidia? Donc fondamentalement quel est l'avenir parce que je dis que vous utilisez 7nm, donc le développeur
Phil (Tesla)
le coût est facilement de plus de 10 millions USD. Comment faites-vous affaires comme business wise?
Ouais, je veux dire Dojo est un très gros ordinateur et utilisera en réalité beaucoup d'énergie et a besoin de beaucoup de refroidissement. Donc je pense que ce sera probablement plus logique d'avoir Dojo fonctionner à la manière d'Amazon Web Services plutôt que d'essayer de le vendre à quelqu'un d'autre. Donc ce serait le moyen le plus efficace d'opérer. Dojo est juste que ce soit un service que vous pouvez utiliser qui est disponible en ligne et où vous pouvez entraîner vos modèles beaucoup plus rapidement et pour moins d'argent. Et à mesure que le monde passe à software 2.0,
et c'est sur la carte de bingo
comme quelqu'un que je connais doit savoir comment boire cinq tequilas. Alors voyons, software 2.0 utilisera beaucoup de formation de réseau de neurones. Donc cela a du sens que au fil du temps, à mesure qu'il y a plus de trucs de réseau neural, les gens voudront utiliser le système de formation de réseau neural le plus rapide et le moins coûteux. Donc je pense qu'il y a beaucoup d'opportunités dans cette direction. Bonjour, mon nom est Ali Jahanian. Merci pour cet événement. C'est très inspirant. Ma question est, je me demande quelle est votre vision pour l'humanité? Les robots qui comprennent nos émotions et notre art
Phil (Tesla)
et peuvent contribuer à notre créativité.
Eh bien, je pense qu'il y a ceci. Vous voyez déjà des robots qui au moins sont capables de générer un art très intéressant avec comme, comme Dall-E et Dall E2. Et je pense que nous commencerons à voir l'IA qui peut réellement générer même des films qui ont de la cohérence, comme des films intéressants et raconter des blagues. C'est donc remarquable à quel point l'IA progresse rapidement dans de nombreuses entreprises en dehors de Tesla. Nous nous dirigeons vers un avenir très intéressant. Et. Ouais. Alors, quelqu'un veut commenter?
Ouais, je suppose que le robot optimiste peut créer de l'art physique, pas seulement de l'art numérique. Vous pouvez, vous savez, vous pouvez demander certains mouvements de danse en texte ou en voix, et puis vous pouvez les produire à l'avenir. Donc c'est beaucoup comme de l'art physique, pas seulement de l'art numérique.
Tesla Presenter
Oh ouais, ouais.
Les ordinateurs peuvent absolument faire de l'art physique. Ouais, ouais, 100%.
Comme danser, jouer au soccer, ou ce que vous voulez. Il doit devenir plus agile, mais avec le temps, c'est sûr.
David (Tesla)
Merci beaucoup pour la présentation.
Pour les diapositives Tesla Autopilot, j'ai remarqué que les modèles que vous utilisiez étaient fortement motivés par des modèles de langage. Et je me demandais quelle était l'histoire
David (Tesla)
une amélioration qu'elle a donné.
Tesla Presenter
Je pensais que le.
David (Tesla)
C'était un choix vraiment intéressant et curieux
d'utiliser des modèles de langage pour la transition de voie. Il y a donc deux aspects pour lesquels nous passons à la modélisation du langage.
Donc le premier, parlez fort et près.
Ce ne vient pas très clairement.
Donc les modèles de langage nous aident de deux manières. Le premier moyen est qu'il nous permet de prédire les voies que nous n'aurions pas pu autrement. Comme Shook l'a mentionné plus tôt, fondamentalement quand nous avons prédit les voies et une sorte de mode 3D dense, vous ne pouvez modéliser que certains types de voies. Mais nous voulons obtenir ces connexions entrecroisées à l'intérieur des intersections. Ce n'est tout simplement pas possible de le faire sans en faire une prédiction graphique. Si vous essayez de faire cela avec une segmentation dense, cela ne fonctionne tout simplement pas. De plus, la prédiction de voie est un problème multimodal. Parfois, vous n'avez tout simplement pas suffisamment d'informations visuelles pour savoir précisément à quoi ressemblent les choses de l'autre côté de l'intersection. Donc vous avez besoin d'une méthode qui peut généraliser et produire, vous savez, des prédictions cohérentes. Vous ne voulez pas prédire deux voies et trois voies en même temps. Vous voulez vous engager à un dans un modèle génératif comme ces modèles de langage le fournissent.
Phil (Tesla)
Bonjour, mon nom est Giovanni.
Ouais, merci pour la présentation.
Phil (Tesla)
J'ai une question pour l'équipe FST.
Tesla Presenter
Donc pour les réseaux de neurones, comment testez-vous? Comme, comment faites-vous des tests unitaires de logiciel sur cela, comme faites-vous
Phil (Tesla)
vous avez comme un tas ou moi
Tesla Presenter
ne sais pas, des milliers ou.
Phil (Tesla)
Oui, des cas où le réseau de neurones qui après l'avoir entraîné, vous devez le réussir avant de le libérer à
Phil (Tesla)
Quelles sont vos stratégies de test unitaire logiciel pour cela?
Eric (Tesla)
Fondamentalement?
Ouais, content que tu aies demandé. Il y a comme une série de tests que nous avons définis à partir de, vous savez, un test unitaire pour le logiciel lui-même. Mais ensuite, pour les modèles de réseaux de neurones, nous avons des ensembles VIP définis où vous savez, vous pouvez définir si vous avez juste un grand ensemble de test, ce n'est pas assez. Ce que nous trouvons, nous avons besoin de comme des ensembles VIP sophistiqués pour différents modes de défaillance et puis nous les curatorons et les développons au fil du temps du produit. Donc au fil des années, nous avons des centaines de milliers d'exemples où nous avons échoué dans le passé que nous avons curatorés. Et donc pour tout nouveau modèle, nous testons contre l'intégralité de l'historique de ces défaillances, puis continuons à ajouter à cet ensemble de test. En plus de cela, nous avons des modes fantôme où nous expédions ces modèles silencieusement à la voiture et nous récupérons des données sur l'endroit où ils échouent ou réussissent. Et il y a un programme d'assurance qualité étendu. C'est très difficile d'expédier une régression. Il y a comme neuf niveaux de filtres avant qu'il ne frappe les clients. Mais ensuite, nous avons une très bonne infra pour rendre tout cela efficace.
Je suis l'un des testeurs QA, donc je fais l'assurance qualité de la voiture. Ouais, comme testeur QA.
Donc je suis constamment dans la voiture juste en étant qa comme quel que soit le dernier boullon alpha qui ne s'écrase pas totalement, trouve
Tesla Presenter
Salut, super événement. J'ai une question sur les modèles fondamentaux pour la conduite autonome. Nous avons tous vu que les grands modèles qui vraiment peuvent, quand vous montez en puissance avec les données et les paramètres du modèle, directement de GPT3 à palm, il peut maintenant faire du raisonnement. Voyez-vous qu'il est essentiel de faire évoluer les modèles fondamentaux avec les données et la taille et ensuite au moins vous pouvez obtenir un modèle d'enseignant, non? Cela peut potentiellement résoudre tous les problèmes et puis vous distillez à un modèle d'étudiant. Est-ce ainsi que vous voyez les modèles fondamentaux pertinents pour l'apprentissage autonome?
C'est assez similaire à notre modèle d'étiquetage automatique. Donc, nous n'avons pas seulement des modèles qui s'exécutent dans la voiture, nous entraînons des modèles qui sont entièrement hors ligne, qui sont extrêmement grands, qui ne peuvent pas s'exécuter en temps réel sur la voiture. Donc nous exécutons simplement ceux-ci hors ligne sur les serveurs, produisant de vraiment bonnes étiquettes qui peuvent ensuite entraîner les réseaux en ligne. Donc, c'est une forme de distillation de ces modèles d'étudiants enseignants en termes de modèles de fondation. Nous construisons des ensembles de données vraiment, vraiment volumineux de plusieurs pétaoctets. Et nous voyons que certaines de ces tâches fonctionnent vraiment bien quand nous avons ces grands ensembles de données comme la cinématique, comme j'ai mentionné la vidéo dans toute la cinématique, hors de tous les objets et jusqu'à la quatrième dérivée. Et les gens pensaient que nous ne pouvions pas faire la détection avec les caméras. Détection, profondeur, vélocité, accélération, et imaginez à quel point ceux-ci doivent être précis pour que ces dérivés d'ordre supérieur soient précis. Et tout cela vient de ces sortes de grands ensembles de données et de grands modèles. Donc, nous voyons l'équivalent des modèles de fondation de notre propre façon pour la géométrie et la cinématique et des choses comme celles-ci. Vous voulez ajouter quelque chose, John?
Ouais, je vais le garder bref. Fondamentalement, chaque fois que nous entraînons sur un ensemble de données plus grand, nous voyons grand.
Fondamentalement, chaque fois que nous entraînons sur un ensemble de données plus grand, nous voyons de grandes améliorations dans nos performances de modèle. Et fondamentalement, chaque fois que nous initialisons nos réseaux avec, vous savez, une étape de pré-entraînement d'une autre tâche auxiliaire, nous voyons essentiellement des améliorations. Le supervisant ou supervisé avec de grands ensembles de données, tous les deux aident beaucoup.
Donc au début, Elon a dit que Tesla s'intéresse potentiellement à la création de systèmes d'intelligence artificielle générale. Étant donné l'impact potentiellement transformateur de la technologie
comme cela, il semble prudent d'investir
en expertise de sécurité AGI technique spécifiquement. Je sais que Tesla fait beaucoup de recherche sur la sécurité de l'IA étroite technique.
Je me demandais si Tesla avait l'intention
Phil (Tesla)
essayer de développer une expertise en technique
sécurité de l'intelligence artificielle générale spécifiquement. Eh bien, je veux dire, si cela commence à ressembler à ce que nous allons faire une contribution importante à l'intelligence artificielle générale, alors nous allons certainement investir dans la sécurité. Je suis un grand croyant en la sécurité de l'IA. Je pense qu'il devrait y avoir une sorte d'autorité réglementaire d'IA au niveau du gouvernement, tout comme il existe une autorité réglementaire pour tout ce qui affecte la sécurité publique. Donc nous avons une autorité réglementaire pour les avions et les voitures et sorte de nourriture et de drogues parce qu'ils affectent la sécurité publique. Et l'IA affecte aussi la sécurité publique. Donc je pense, et ce n'est vraiment pas quelque chose que le gouvernement, je pense, comprendre encore, mais je pense, je pense qu'il devrait y avoir un arbitre qui assure ou fait, essayant d'assurer la sécurité publique pour AGI. Et vous pensez comme, eh bien, quels sont les éléments nécessaires pour créer AGI? Comme l'ensemble de données accessible est extrêmement important. Et si vous avez un grand nombre de voitures et de robots humanoïdes traitant des pétaoctets de données vidéo et de données audio du monde réel, tout comme les humains, cela pourrait être le plus grand ensemble de données. C'est probablement le plus grand ensemble de données parce qu'en plus de cela, vous pouvez évidemment scanner progressivement Internet. Mais ce qu'Internet ne peut pas tout à fait faire, c'est d'avoir des millions ou des centaines de millions de caméras dans le monde réel et comme je l'ai dit avec l'audio et d'autres capteurs aussi. Donc je pense que nous aurons probablement la plupart des données et probablement la plupart de la puissance d'entraînement. Par conséquent, nous allons probablement faire une contribution à AGI. Hé, j'ai remarqué que le semi était de retour
là, mais nous n'en avons pas parlé trop.
Je me demandais juste pour le semi-camion, quels sont les changements que vous pensez du point de vue de la détection?
David (Tesla)
J'imagine qu'il y a des exigences très différentes évidemment qu'une simple voiture.
Eric (Tesla)
Et si vous ne pensez pas que c'est vrai,
pourquoi est-ce vrai? Non, je pense que fondamentalement vous pouvez conduire une voiture. Je veux dire, réfléchissez à ce qui conduit n'importe quel véhicule. Un réseau de neurones biologique avec, avec des yeux, avec des caméras essentiellement. Donc si et ce que sont vraiment vos capteurs principaux sont deux caméras sur un cardan lent, un cardan très lent, c'est, c'est votre tête. Donc, si vous savez qu'un réseau de neurones biologique avec deux caméras sur un cardan lent peut conduire un semi-camion, alors si vous avez comme huit caméras avec une vision continue de 360 degrés fonctionnant à une fréquence d'images plus élevée et un taux de réaction beaucoup plus élevé, alors je pense qu'il est évident que vous devriez être capable de conduire un semi ou n'importe quel, n'importe quel véhicule beaucoup mieux qu'un humain.
Salut, mon nom est Akshay.
Tesla Presenter
Merci pour l'événement.
En supposant, vous savez, Optimus serait utilisé pour différents cas d'utilisation et évoluerait à un rythme différent pour ces cas d'utilisation, serait-il possible de sorte de développer et de déployer différents composants logiciels et matériels indépendamment et de les déployer, vous savez, dans le, dans Optimus afin que l'ensemble, vous savez, le développement des fonctionnalités est plus rapide pour Optimus?
D'accord. D'accord. Nous n'avons pas compris, malheureusement notre réseau de neurones n'a pas compris la question. Donc la question suivante.
Tesla Presenter
Salut, je veux passer un engrenage à l'autopilote. Donc, quand allez-vous déployer FSD Beta dans des pays autres que le U.S. et au Canada. Et aussi ma prochaine question est quel est le plus grand le goulot d'étranglement ou la barrière technologique que vous pensez dans la pile d'autopilote actuelle et comment vous envisagez de résoudre cela pour rendre l'autopilote considérablement meilleur qu'humain en termes de matrice de performance comme l'assurance de sécurité et la confiance humaine. Et je pense que vous avez aussi mentionné que pour FSD V11, vous allez combiner l'autoroute et la ville dans une pile unique et certaines grandes améliorations architecturales. Pouvez-vous peut-être expliquer développer un peu sur cela?
Eh bien, c'est un tas de questions. Nous espérons pouvoir, je pense du point de vue technique FSD Beta devrait être, devrait être possible de déployer FSD Beta dans le monde entier d'ici la fin de cette année.
Tesla Presenter
Mais nous, vous savez, pour beaucoup
des pays dont nous avons besoin d'une approbation réglementaire et nous sommes donc quelque peu limités par l'approbation réglementaire dans d'autres pays. Mais vous savez, mais je pense que du point de vue technique, il sera prêt à aller à un bêta mondial d'ici la fin de cette année. Et il y a une amélioration assez importante que nous nous attendons à sortir le mois prochain qui sera particulièrement bonne pour évaluer la vélocité du trafic transversal rapide et un tas d'autres choses. Donc, quelqu'un d'autre?
Ouais, je suppose. Il y avait auparavant beaucoup de différences entre l'autopilote de production et le bêta de conduite autonome complète, mais ces différences deviennent de plus en plus petites au fil du temps. Je pense qu'il y a à peine quelques mois, nous utilisons maintenant la pile de détection d'objets vision uniquement identique dans FSD et dans l'autopilote de production sur tous les véhicules. Il y a toujours quelques différences, la principale étant la façon dont nous prédisons les voies maintenant. Donc nous avons amélioré la modélisation des voies afin qu'elle puisse gérer ces géométries plus complexes. Comme je l'ai mentionné dans le discours, dans Autopilot de production, nous utilisons toujours un modèle de voie plus simple, mais nous étendons nos modèles FSD bêta actuels pour fonctionner dans toutes sortes de scénarios d'autoroute aussi.
Ouais, et la version de FSD beta que je conduis a en fait la pile intégrée. Donc, il utilise la pile FSD à la fois dans les rues de la ville et l'autoroute et cela fonctionne très bien pour moi. Mais nous devons le valider dans toutes sortes de conditions météorologiques, comme la pluie forte, la neige, la poussière, et nous assurer qu'il fonctionne mieux que la pile de production dans un large éventail d'environnements. Mais nous sommes assez proches de cela. Je veux dire, je pense que c'est. Je ne sais pas, peut-être que ce sera définitivement avant la fin de l'année et peut-être en novembre.
Ouais, dans nos trajets personnels, la pile FSD sur les trajets d'autoroute fonctionne déjà beaucoup mieux que la pile de production que nous avons. Et nous nous attendons également à inclure la pile de parking en tant que partie de la pile FSD avant la fin de cette année. Donc, cela nous permettra essentiellement de vous asseoir dans la voiture sur le parking et de conduire jusqu'à la fin du parking à une place de parking avant la fin de cette année.
Et en termes de, la métrique fondamentale pour optimiser contre est le nombre de milles entre une intervention nécessaire. Donc, il suffit d'améliorer massivement le nombre de miles que la voiture peut conduire en pleine autonomie avant qu'une intervention ne soit nécessaire. C'est, c'est critique pour la sécurité. Donc oui, c'est, c'est la métrique fondamentale que nous mesurons chaque semaine et nous apportons des améliorations radicales à ce sujet.
Merci beaucoup pour la présentation. Très inspirant.
Tesla Presenter
J'ai en fait une question non technique pour vous.
Je suis curieux si tu, tu es de retour dans la vingtaine, quels sont certains des
les choses que tu aurais aimé savoir à l'époque?
Quel conseil donneriez-vous à votre plus jeune moi?
Eh bien, j'essaie de trouver quelque chose d'utile à dire. Ouais, rejoindre Tesla serait une chose. Ouais, je pense juste à essayer de vous exposer à autant de gens intelligents que possible. Je ne lis pas beaucoup de livres, tu sais, je fais, j'ai fait ça cependant.
Je pense qu'il y a du mérite à aussi ne pas être nécessairement trop intense et à profiter du moment un peu plus. Je dirais à 20 ou quelques-uns de moi juste, tu sais, arrête-toi et sente les roses occasionnellement serait probablement une bonne idée. Vous savez, c'est comme quand nous développions la fusée Falcon 1 et sur l'atoll de Kwajalein et nous avions cette belle petite île sur laquelle nous développions la fusée et pas une seule fois pendant tout ce temps ai-je eu une boisson sur la plage. Je suis comme, j'aurais dû avoir un verre sur la plage. Cela aurait été bien.
Tesla Presenter
Merci beaucoup.
Phil (Tesla)
Je pense que vous avez excité tous les
les gens robotiques avec optimisation.
Eric (Tesla)
Cela ressemble beaucoup à il y a 10 ans en conduisant.
Phil (Tesla)
Mais comme la conduite s'est avérée être plus difficile qu'elle ne l'était il y a 10 ans, que savons-nous maintenant que nous ne savions pas il y a 10 ans qui
Tesla Presenter
faire par exemple AGI sur un humanoïde venir plus vite?
Eh bien, il me semble que l'AGI progresse très rapidement. À peine une semaine s'écoule sans une annonce importante. Et ouais, je veux dire à ce stade comme l'IA semble pouvoir gagner à presque n'importe quel jeu basé sur des règles. C'est, c'est capable de créer un art extrêmement impressionnant, de s'engager dans des conversations qui sont très sophistiquées, tu sais, écrire des essais et ceux-ci, ceux-ci s'améliorent constamment. Et il y a, il y a tellement plus, si, tellement plus de gens talentueux travaillant sur l'IA et le matériel s'améliore. Je pense que l'IA est sur une courbe exponentielle très, très forte d'améliorations, indépendamment de ce que nous faisons chez Tesla. Et évidemment, nous allons bénéficier dans une certaine mesure de cette courbe exponentielle d'amélioration de l'IA. Tesla est aussi très bon en matière d'actionneurs, de moteurs, vous savez, moteurs, boîtes de vitesses, contrôleurs, électronique de puissance, batteries, capteurs. Et vous savez, vraiment, comme je le dis, la plus grande différence entre le robot à quatre roues et le robot avec des bras et des jambes, c'est de bien maîtriser les actionneurs. C'est un problème d'actionneurs et de capteurs. Et évidemment, comment on contrôle ces actionneurs et ces capteurs, mais c'est... Oui, les actionneurs et les capteurs, et comment on contrôle les actionneurs, c'est... Je ne sais pas, il faut avoir les ingrédients nécessaires pour créer un robot convaincant. Et c'est ce que nous faisons.
Salut, Elon. Vous êtes en train de faire passer l'humanité au niveau supérieur, littéralement, Tesla, vous faites passer l'humanité au niveau supérieur.
Tesla Presenter
Donc vous avez dit Optimus Prime.
Optimus sera utilisé dans la prochaine usine Tesla.
Tesla Presenter
Ma question est : est-ce qu'une nouvelle usine Tesla
sera entièrement gérée par le programme Optimus ?
Tesla Presenter
Et, et quand le grand public pourra-t-il commander un humanoïde ?
Oui, je pense que, vous savez, nous allons commencer avec Optimus sur des tâches très simples dans l'usine. Vous savez, peut-être juste comme charger une pièce, comme vous l'avez vu dans la vidéo, charger une pièce, vous savez, transporter une pièce d'un endroit à un autre ou charger une pièce dans
cellules robotiques plus conventionnelles qui, vous savez, soudent la carrosserie. Donc on va commencer, vous savez, juste en essayant de voir comment le rendre utile, tout simplement. Et ensuite, et ensuite augmenter progressivement le nombre de situations où il est utile. Et je pense que le nombre de situations où Optimus est utile va croître de façon exponentielle, vraiment, vraiment vite. Pour ce qui est de savoir quand les gens pourront en commander un, je ne sais pas. Je pense que ce n'est pas si loin. Enfin, je pense que vous vouliez dire : quand les gens pourront-ils en recevoir un ? Donc je ne sais pas, je dirais probablement dans les trois ans, pas plus de cinq ans. D'ici trois à cinq ans, vous pourriez probablement recevoir un Optimus.
Tesla Presenter
J'ai l'impression que la meilleure façon de progresser vers l'AGI est d'impliquer le plus de personnes intelligentes possible à travers le monde. Et étant donné la taille et les ressources de Tesla par rapport aux entreprises de robotique, et étant donné l'état actuel de la recherche sur les humanoïdes, est-ce que cela aurait du sens pour que Tesla en quelque sorte ouvre en open source certaines parties du matériel de simulation ? Je pense que Tesla peut quand même être la plate-forme dominante, où cela pourrait être quelque chose
comme Android OS ou comme iOS
Tesla Presenter
pour l'ensemble de la recherche sur les humanoïdes. Est-ce que ce serait envisageable, plutôt que de garder Optimus réservé aux seuls chercheurs de Tesla ou à l'usine elle-même, de l'ouvrir et de laisser le monde entier faire avancer la recherche sur les humanoïdes ?
Je pense qu'il faut être prudent quant au fait qu'Optimus pourrait être utilisé de manière néfaste, car c'est une des choses possibles.
Je pense, vous savez, que nous fournirions des Optimus auxquels on peut donner des instructions, mais où ces instructions seraient, vous savez, régies par certaines lois de la robotique que l'on ne peut pas contourner. Donc, vous savez, ne pas faire de mal aux autres, et je pense qu'il y aura probablement pas mal de choses liées à la sécurité avec Optimus.
Donc. Très bien, on va prendre encore quelques questions, puis, puis merci à tous d'être venus. Deux questions : une approfondie et une générale. Pour la question approfondie sur Optimus, quelle est la bande passante actuelle du contrôleur, et quelle serait la bande passante idéale ? Et ensuite, pour la question plus générale, il y a cette grande mise en avant de la profondeur et
Phil (Tesla)
de l'étendue de l'entreprise.
Qu'est-ce qui, de manière unique, chez Tesla, permet cela ?
Est-ce que quelqu'un veut s'attaquer à la question de la bande passante ?
Tesla Presenter
Oui, donc la bande passante technique du...
Rapprochez-le de votre bouche et parlez fort.
Tesla Presenter
D'accord. Pour la question de la bande passante, il faut comprendre ou déterminer quelle est la tâche que l'on veut accomplir, et si on prenait une transformée de fréquence de cette tâche, qu'est-ce qu'on voudrait que les membres fassent ? Et c'est de là que vient la bande passante. Ce n'est pas un chiffre qu'on peut donner précisément comme ça, il faut comprendre son cas d'usage. Et c'est de là, c'est de là que vient la bande passante. Quelle était la question générale ?
Je ne me souviens pas très bien de l'histoire de la profondeur et de l'étendue. Je peux répondre à la question sur la profondeur et l'étendue. Je veux dire, c'est intéressant pour la question de la bande passante, je pense qu'on va probablement finir par augmenter la bande passante, ce qui se traduit par la dextérité effective et le temps de réaction du robot. On peut dire sans risque que ce n'est pas un hertz et que c'est... Peut-être qu'il n'est pas nécessaire d'aller jusqu'à 100 hertz, mais je ne sais pas, peut-être 10, 25. Je ne sais pas. Avec le temps, je pense que la bande passante va augmenter considérablement, ou se traduire en dextérité et en latence. On voudrait minimiser ça au fil du temps. Oui, minimiser la latence, maximiser la dextérité, pour ce qui concerne la profondeur et l'étendue. Je suppose qu'on a, qu'on a, qu'on est une entreprise assez grande à ce stade, donc on a beaucoup de domaines d'expertise différents qu'on a forcément dû développer pour fabriquer des voitures autonomes, ou plutôt pour fabriquer des voitures électriques. Et puis pour fabriquer des voitures électriques autonomes, on a, enfin, je veux dire, Tesla est en fait toute une série de startups, et jusqu'à présent elles ont presque toutes plutôt bien réussi. Donc on doit faire quelque chose de bien. Et je considère que l'une de mes responsabilités essentielles en dirigeant l'entreprise est de créer un environnement où les meilleurs ingénieurs peuvent s'épanouir. Et je pense que dans beaucoup d'entreprises, je ne sais pas, peut-être la plupart, si quelqu'un est un ingénieur vraiment talentueux et motivé, ses talents sont en fait étouffés dans beaucoup d'entreprises, et, vous savez, dans certaines entreprises, le talent des ingénieurs est étouffé d'une façon qui n'est pas forcément évidente, mais où c'est juste tellement confortable, on est tellement bien payé, et la production qu'on doit réellement fournir est si faible que c'est comme un piège à miel, vous savez. Donc il y a quelques endroits pièges à miel dans la Silicon Valley qui ne paraissent pas forcément être de mauvais endroits pour les ingénieurs. Mais il faut se demander : un bon ingénieur y est entré, et qu'en est-il sorti ? Et la production de ce talent d'ingénieur semble très faible, même s'ils ont l'air de bien s'amuser. C'est pourquoi j'appelle ça : il y a quelques entreprises pièges à miel dans la Silicon Valley. Tesla n'est pas un piège à miel. Et on est exigeants, on va faire plein de trucs, ça va être vraiment cool, et ça ne va pas être facile. Mais si vous êtes un ingénieur super talentueux, vos talents seront utilisés, je pense, à un degré plus élevé que nulle part ailleurs. Vous savez, SpaceX fonctionne aussi de cette façon. Donc.
Salut Elon, j'ai deux questions, toutes les deux pour l'équipe Autopilot.
Tesla Presenter
Alors, en fait, j'ai
suivi vos progrès ces dernières années. Donc aujourd'hui vous avez apporté des changements à
Tesla Presenter
comme la détection des voies.
Vous avez dit que précédemment vous
Tesla Presenter
faisiez de la segmentation sémantique d'instance, et maintenant vous
avez construit des modèles de type transformeur pour, disons, construire les voies. Donc quels sont les autres, certains des autres défis courants auxquels vous êtes confrontés
Tesla Presenter
en ce moment, que vous allez résoudre à l'avenir, en tant qu'ingénieur curieux, pour
que nous, en tant que chercheurs, puissions travailler sur ceux-ci.
Tesla Presenter
Commencer à travailler sur ceux-ci.
Et la deuxième question, c'est que je suis
vraiment curieux au sujet du moteur de données. Par exemple, vous avez parlé d'un cas où la voiture est arrêtée. Donc comment trouvez-vous des cas très similaires à celui-là, à partir
Tesla Presenter
des données que vous avez, donc un peu plus d'informations sur le moteur de données serait super. Voilà, c'est tout. D'accord, je commence.
Phil (Tesla)
Je réponds à la première question. En prenant le réseau d'occupation comme exemple. Ce que vous avez vu dans la présentation n'existait pas il y a un an. Nous n'avons passé qu'une seule année là-dessus. Nous avons en fait déployé plus de 12 versions du réseau d'occupation. Et avoir un seul modèle de base capable de représenter l'ensemble du monde physique environnant, partout et dans toutes les conditions météorologiques, c'est en fait vraiment, vraiment difficile. Donc il y a un peu plus d'un an, on était en quelque sorte dans un monde en 2D. S'il y a un mur et s'il y a une bordure, on les représentait en quelque sorte avec le même bord statique, ce qui, évidemment, vous savez, n'est pas idéal. Voilà. Il y a une grande différence entre une bordure et un mur. Quand on conduit, on fait des choix différents.
Phil (Tesla)
Donc après avoir réalisé qu'il fallait passer à la 3D, on a dû essentiellement repenser tout le problème et réfléchir à la façon de l'aborder. Donc ce serait un exemple des défis que nous avons surmontés au cours de l'année passée.
Oui. Pour répondre à la question de savoir comment nous trouvons concrètement des exemples de ces cas délicats de voitures arrêtées, il y a plusieurs façons de procéder, mais deux exemples sont, premièrement, nous pouvons déclencher une collecte en cas de désaccord entre nos signaux. Par exemple, disons que le bit « garé » oscille entre garé et en conduite. Nous déclencherons alors une collecte de ces données. Et la seconde, c'est que nous pouvons davantage exploiter la logique du mode fantôme. Donc si le conducteur ne s'arrête pas, mais que nous pensons que nous devrions nous arrêter, nous récupérons aussi ces données. Donc ce sont juste différentes logiques de déclenchement qui nous permettent de récupérer ces campagnes de données.
Tesla Presenter
Bonjour, merci pour cette présentation incroyable. Merci beaucoup. Donc il y a beaucoup d'entreprises qui se concentrent sur le problème de l'AGI. Et une, une des raisons pour lesquelles c'est un problème si difficile, c'est que le problème lui-même est très difficile à définir. Plusieurs entreprises ont plusieurs définitions différentes. Elles se concentrent sur des choses différentes. Alors, comment Tesla
définit-elle le problème de l'AGI ?
Tesla Presenter
Et sur quoi vous concentrez-vous précisément ?
Eh bien, en fait, nous ne sommes pas spécifiquement concentrés sur l'AGI. Je dis simplement que l'AGI semble susceptible d'être une propriété émergente de ce que nous faisons, parce que nous créons toutes ces voitures autonomes et ces humanoïdes autonomes qui se trouvent en fait au sein d'un flux de données véritablement gigantesque qui arrive et qui est traité. C'est de loin la plus grande quantité de données du monde réel, des données qu'on ne peut pas obtenir simplement en cherchant sur Internet. Parce qu'il faut être là, dans le monde réel, interagir avec les gens, les gens, et interagir avec les routes, et, vous savez, la Terre est un endroit immense et la réalité est désordonnée et compliquée. Donc je pense que c'est un peu comme si on... Cela semble simplement être une propriété émergente, si on a, vous savez, des dizaines ou des centaines de millions de véhicules autonomes et peut-être même un nombre comparable d'humanoïdes, voire plus. Côté humanoïdes, eh bien, c'est tout simplement la plus grande quantité de données. Et si cette vidéo est traitée, il semble simplement probable que, vous savez, les voitures deviendront définitivement bien meilleures que les conducteurs humains, et les robots humanoïdes deviendront de plus en plus difficiles à distinguer des humains, peut-être. Et donc, comme je l'ai dit, on obtient cette propriété émergente de l'AGI. Et on pourrait dire que les humains, collectivement, constituent aussi une sorte de superintelligence, surtout à mesure qu'on améliore le débit de données entre les humains. Ça remonte en quelque sorte aux débuts d'Internet, c'était comme... Internet, c'était comme si l'humanité acquérait un système nerveux, où soudain, n'importe quel élément de l'humanité pouvait accéder à toute la connaissance humaine en se connectant à Internet, presque toute la connaissance, certainement une grande partie de celle-ci, alors qu'auparavant on échangeait l'information par osmose pour transférer des données. Il fallait donc écrire une lettre, quelqu'un devait porter cette lettre d'une personne à une autre, et puis tout un tas d'étapes intermédiaires. Et donc c'était, oui, je veux dire, incroyablement lent quand on y pense. Et même si on se trouvait à la Bibliothèque du Congrès, on n'avait toujours pas accès à toute l'information mondiale, et on ne pouvait certainement pas la rechercher. Et évidemment, très peu de gens se trouvent à la Bibliothèque du Congrès. Donc, je veux dire, l'un des grands facteurs d'égalité, comme Internet, a été le plus... Le plus grand facteur d'égalisation de l'histoire en matière d'accès à l'information et à la connaissance. Et je pense que tout étudiant en histoire serait d'accord avec ça, parce que si on remonte mille ans en arrière, il y avait très peu de livres, les livres étaient incroyablement chers, mais seules quelques personnes savaient lire, et même un petit nombre de personnes possédait un livre. Maintenant, regardez ça, on peut accéder à n'importe quel livre instantanément. On peut tout apprendre, essentiellement gratuitement. C'est vraiment incroyable. Donc, vous savez, on m'a demandé récemment à quelle période de l'histoire je préférerais le plus vivre. Et ma réponse a été que c'est maintenant, que c'est l'époque la plus intéressante de l'histoire, et je lis beaucoup d'histoire. Alors, faisons. Faisons de notre mieux pour que ça continue. Oui. Et pour revenir à l'une des questions précédentes, je répondrais que vous pouvez. Ce qui s'est passé au fil du temps avec Tesla Autopilot, c'est que nous avons juste. Les réseaux de neurones sont devenus. Ont progressivement absorbé de plus en plus de logiciel. Et à la limite, bien sûr, on pourrait simplement prendre les vidéos vues par la voiture et les comparer aux commandes du volant et des pédales, qui sont des entrées très simples. Et en principe, on pourrait entraîner sans rien entre les deux, parce que c'est ce que font les humains avec un réseau de neurones biologique. On pourrait entraîner à partir de la vidéo. Et ce qui entraîne à partir de la vidéo, c'est le mouvement du volant et des pédales, sans aucun autre logiciel entre les deux. On n'y est pas encore, mais ça évolue progressivement dans cette direction. Bon, peut-être une dernière question.
Je crois qu'on a une question ici devant. Bonjour. Là, juste là. On va faire deux questions. D'accord.
Tesla Presenter
Là-bas. Salut. Merci pour cette super présentation.
On traitera votre question en dernier.
Tesla Presenter
Ok, cool. Avec FSD utilisé par autant de personnes, pensez-vous, quel est le. Comment évaluez-vous la tolérance au risque de l'entreprise en termes de statistiques de performance ? Et pensez-vous qu'il faut plus de transparence ou de réglementation par des tiers quant à la façon dont. Qu'est-ce qui est suffisamment bon ? Et est-ce que vous. Définir, genre, des seuils de performance sur autant de kilomètres ?
Eh bien, vous savez, la première exigence de conception chez Tesla, c'est la sécurité. Donc. Et ça vaut pour tout. Donc, en termes de sécurité mécanique de la voiture, nous avons la probabilité de blessure la plus faible de toutes les voitures jamais testées par le gouvernement. Le gouvernement, pour la sécurité mécanique passive uniquement, essentiellement la structure en cas de crash, les airbags et ainsi de suite. Nous avons aussi la meilleure, la plus haute note en matière de sécurité active. Et je pense qu'on va arriver au point où la sécurité active sera tellement bonne que c'est absurdement meilleur qu'un humain. Et puis, concernant Autopilot, nous publions, de manière générale, les statistiques sur les kilomètres parcourus avec des voitures sans autonomie, ou des Tesla sans autonomie, avec le matériel 1, le matériel 2, le matériel 3, puis celles qui sont en version bêta de FSD. Et nous constatons des améliorations constantes tout au long du parcours. Et, vous savez, il y a parfois cette dichotomie : devrait-on attendre que la voiture soit, je ne sais pas, trois fois plus sûre qu'une personne avant de déployer une technologie ? Mais je pense que c'est en fait moralement mauvais. Dès lors qu'on pense que l'ajout d'autonomie réduit les blessures et les décès, je pense qu'on a davantage l'obligation de la déployer, même si on va se faire poursuivre en justice et blâmer par beaucoup de gens, parce que les personnes dont on a sauvé la vie ne savent pas que leur vie a été sauvée. Et les gens, les gens qui meurent ou se blessent occasionnellement, eux savent certainement, ou leur état le montre, que c'était, vous savez, peu importe. Il y a eu un problème avec Autopilot. C'est pourquoi il faut regarder les chiffres en termes de kilomètres totaux parcourus, combien d'accidents se sont produits, combien d'accidents étaient graves, combien de décès. Et, vous savez, nous avons largement plus de 3 millions de voitures sur la route. Donc ça, c'est beaucoup de kilomètres parcourus chaque jour. Ça ne sera pas parfait. Mais ce qui compte, c'est que c'est très clairement plus sûr que de ne pas le déployer. Oui. Donc je pense. Dernière question.
Tesla Presenter
Je pense. Oui.
Alors merci. Bon, la dernière question ici.
D'accord. Salut. Donc, je ne travaille pas dans le matériel,
donc peut-être que l'équipe hardware et vous
Pourquoi est-il nécessaire qu'il y ait une symétrie dans la conception d'Optimus ? Parce que nous, les humains, nous avons une latéralité, non ?
Nous, nous utilisons certains
Tesla Presenter
muscles plus que d'autres.
Avec le temps, il y a de l'usure, non ?
Donc peut-être que vous commencerez à voir certaines
défaillances d'articulations ou d'actionneurs de plus en plus avec le temps.
Je comprends que c'est aussi extrêmement prestigieux. Nous, en tant qu'humains, avons basé tellement
de fantasme et de fiction sur des capacités surhumaines. Comme, aucun de nous ne veut
simplement marcher jusque là-bas. Nous voulons étendre nos bras et
comme nous avons tous ces, vous savez,
beaucoup de designs fantastiques et imaginaires.
Donc, en tenant compte de tout ce qui se passe par ailleurs en termes de batteries et d'intensité
de calcul, peut-être pourriez-vous exploiter tous
ces aspects pour arriver à, à quelque chose. Enfin, je ne sais pas, quelque chose de plus intéressant
en ce qui concerne votre, le robot que vous construisez.
Et j'espère que vous pourrez explorer ces pistes.
Oui, enfin, je pense que ce serait cool d'avoir, vous savez, de rendre Inspecteur Gadget réel. Ça, ce serait plutôt génial. Donc, oui, en fait, pour l'instant, on veut juste faire fonctionner correctement un humanoïde de base. Et notre objectif, c'est le chemin le plus rapide vers un robot humanoïde utile. Je pense que ça va littéralement nous ancrer dans la réalité et garantir que nous faisons quelque chose d'utile. Genre, l'une des choses les plus difficiles, c'est d'être réellement utile, puis d'avoir une grande utilité cumulée, du genre : combien de personnes avez-vous aidées ? Combien d'aide avez-vous apportée à chaque personne en moyenne ? Et ensuite, combien de personnes avez-vous aidées ? L'utilité totale. Genre, essayer de vraiment livrer un produit utile que les gens apprécient à un grand nombre de personnes, c'est tellement incroyablement difficile que ça dépasse l'entendement, vous savez. Donc je pourrais dire, genre, mec, il y a une sacrée différence entre une entreprise qui a livré un produit et une qui n'en a pas livré. Pour en arriver là, c'est le jour et la nuit. Et ensuite, même une fois que vous avez livré un produit, pouvez-vous faire en sorte que la valeur du résultat soit supérieure au coût des intrants ? Ce qui est là encore incroyablement difficile, surtout avec du matériel. Donc, mais je pense qu'avec le temps, ce serait cool de faire des choses créatives, d'avoir par exemple huit bras ou peu importe, d'avoir différentes versions, et peut-être, vous savez, qu'il y aura du matériel. Genre des entreprises capables d'ajouter des choses à un Optimus. Genre, peut-être qu'on, vous savez, ajoute un port d'alimentation ou quelque chose comme ça, ou qu'on les fixe, vous pouvez ajouter, vous savez, ajouter des accessoires à votre Optimus. Comme vous pouvez en ajouter à votre téléphone. Il pourrait y avoir plein de choses cool qui pourraient être faites avec le temps, et ce pourrait être, peut-être, un écosystème de petites entreprises, ou de grandes entreprises, qui fabriquent des accessoires pour Optimus. Sur ce, j'aimerais remercier l'équipe pour son travail acharné. Vous êtes formidables. Et. Merci à tous d'être venus. Et pour tous ceux qui nous suivent en ligne, merci de nous avoir regardés. Et je pense que ce sera l'une de ces superbes vidéos où vous pouvez, genre, avancer rapidement jusqu'aux parties que vous trouvez les plus intéressantes, mais nous essayons de vous donner énormément de détails, littéralement, pour que vous puissiez regarder la vidéo à votre rythme et vous concentrer sur les parties qui vous intéressent en sautant les autres. Donc merci à tous, et on va essayer de refaire ça chaque année, et on pourrait même faire un podcast mensuel en plus. Mais je pense que ce serait génial de vous embarquer un peu avec nous et de vous montrer les choses cool qui se passent, et, voilà, merci.
Tesla Presenter
Très bien. Merci,