Tesla AI Day 19 de agosto de 2021 Conferencia magistral del Tesla AI Day en la que Musk y sus ingenieros presentan la supercomputadora Dojo, las redes neuronales de FSD y presentan el Tesla Bot (Optimus).
Conferencia magistral del Tesla AI Day en la que Musk y sus ingenieros presentan la supercomputadora Dojo, las redes neuronales de FSD y presentan el Tesla Bot (Optimus).
Transcripción Hola a todos. Perdón por, por la demora. Gracias por venir y disculpen, tuve algunos problemas técnicos. De verdad. ¿IA para esto? Así que lo que queremos mostrar hoy es que Tesla es mucho más que una empresa de autos eléctricos, que tenemos una actividad profunda en IA en hardware, a nivel de inferencia, a nivel de entrenamiento, y básicamente somos, creo que probablemente los líderes en IA del mundo real tal como se aplica al mundo real. Y aquellos de ustedes que han visto la beta de conducción totalmente autónoma pueden apreciar la velocidad a la que la red neuronal de Tesla está aprendiendo a conducir, y esta es una aplicación particular de la IA, pero creo que hay más, hay más aplicaciones en el futuro que tendrán sentido y hablaremos de eso más adelante en la presentación. Pero sí, básicamente queremos animar a cualquiera que esté interesado en resolver problemas reales de IA, ya sea a nivel de hardware o de software, a unirse a Tesla o considerar unirse a Tesla. Así que vamos a empezar con Andrej. Sí,
Bien. Hola a todos. ¿Está encendido mi micrófono? Espero que sí.
No suena como si lo estuviera. Bien.
Genial. Bien. Hola a todos. Bienvenidos. Me llamo Andrej y dirijo el equipo de visión aquí en Tesla Autopilot, y estoy increíblemente emocionado de estar aquí para abrir esta sección, dándoles una inmersión técnica profunda en el sistema de Autopilot y mostrándoles todos los componentes internos que hacen que un auto se conduzca completamente solo. Así que vamos a empezar con el componente de visión. Ahora bien, en el componente de visión, lo que intentamos hacer es diseñar una red neuronal que procese la información en bruto, que en nuestro caso son las ocho cámaras ubicadas alrededor del vehículo, que nos envían imágenes, y necesitamos procesar eso en tiempo real convirtiéndolo en lo que llamamos el espacio vectorial. Y esta es una representación tridimensional de todo lo que se necesita para conducir. Así que son las posiciones tridimensionales de líneas, bordes, cunetas, señales de tráfico, semáforos, autos, sus posiciones, orientaciones, profundidades, velocidades, etcétera. Aquí estoy mostrando un video de... De hecho, esperen. Disculpen. Aquí estoy mostrando el video de las entradas en bruto que llegan al sistema, y luego la red neuronal procesa eso convirtiéndolo en el espacio vectorial. Y están viendo partes de ese espacio vectorial representadas en el tablero del auto. Lo que me parece fascinante de esto es que en efecto estamos construyendo un animal sintético desde cero. Así que el auto puede pensarse como un animal. Se mueve, percibe el entorno y, ya saben, actúa de forma autónoma e inteligente. Y estamos construyendo todos los componentes desde cero, internamente. Así que estamos construyendo, por supuesto, todos los componentes mecánicos del cuerpo, el sistema nervioso, que son todos los componentes eléctricos, y para nuestros propósitos, el cerebro del Autopilot, y específicamente para esta sección, la corteza visual sintética. Ahora bien, la corteza visual biológica en realidad tiene una estructura bastante intrincada y varias áreas que organizan el flujo de información de este cerebro. Y así, en particular en nuestra, en su corteza visual, la información llega a la luz, llega a la retina, pasa por el LGN, hasta la parte posterior de la corteza visual, pasa por las áreas V1, V2, V4, la IT, las vías ventral y dorsal. Y la información se organiza según cierta disposición. Y así, cuando diseñamos la corteza visual del auto, también queremos diseñar la arquitectura de la red neuronal según cómo fluye la información en el sistema. Así que el procesamiento comienza cuando la luz llega a nuestra retina artificial. Y vamos a procesar esta información con redes neuronales. Ahora bien, voy a organizar esta sección más o menos cronológicamente, empezando por algunas de las redes neuronales y cómo eran hace unos cuatro años, cuando me uní al equipo, y cómo han evolucionado con el tiempo. Hace aproximadamente cuatro años, el auto conducía principalmente en un solo carril, hacia adelante, en la autopista. Así que tenía que mantenerse en el carril y mantener la distancia respecto del auto de adelante. Y en esa época, todo el procesamiento se hacía solo a nivel de imagen individual. Así que una sola imagen tenía que ser analizada por una red neuronal y generar pequeños fragmentos del espacio vectorial, procesando eso en pequeños fragmentos del espacio vectorial. Así que este procesamiento tomaba la siguiente forma. Tomamos una entrada de 1280 por 960, con enteros de 12 bits que llegan a una frecuencia de aproximadamente 36 hercios. Ahora vamos a procesar eso con una red neuronal. Así que instanciamos un extractor de características, un backbone. En este caso, usamos redes neuronales residuales. Así que tenemos un tronco y varios bloques residuales conectados en serie. Ahora bien, la clase específica de resnets que usamos son las regnets, porque nos gusta, es como muy... Las regnets ofrecen un espacio de diseño muy agradable para las redes neuronales porque permiten equilibrar muy bien la latencia y la precisión. Ahora bien, estas regnets nos dan como salida una serie de características a diferentes resoluciones y escalas. Así que, en particular, en la parte más baja de esta jerarquía de características tenemos información de muy alta resolución con muy pocos canales. Y en la parte más alta tenemos baja resolución espacial, pero muchos canales. Así que en la parte baja tenemos muchas neuronas que están analizando realmente el detalle de la imagen. Y en la parte alta tenemos neuronas que pueden ver la mayor parte de la imagen y tienen mucho de ese contraste, mucho de ese contexto de la escena. Luego nos gusta procesar esto con redes de pirámide de características. En nuestro caso nos gusta usar BiFPN, que logran que múltiples escalas se comuniquen entre sí de forma eficaz y compartan mucha información. Así que, por ejemplo, si eres una neurona muy abajo en la red y estás mirando un pequeño parche, y no estás seguro de si eso es un auto o no, definitivamente ayuda saber, por las capas superiores, que, oye, en realidad estás en el punto de fuga de esta autopista. Y eso ayuda a desambiguar que probablemente sea un auto. Después de un BiFPN y una fusión de características entre escalas, pasamos a las cabezas específicas de tarea. Así que, por ejemplo, si estás haciendo detección de objetos, tenemos aquí un detector de objetos de una sola etapa, tipo YOLO, donde inicializamos una trama y hay un bit binario por posición que indica si hay o no un auto ahí. Y además, si lo hay, aquí hay un montón de otros atributos que podrían interesarte. Así que el desplazamiento en X, Y, con altura, o cualquier otro atributo, como qué tipo de auto es. Y así sucesivamente. Así que eso es para la detección por sí sola. Ahora bien, muy rápidamente descubrimos que no solo queríamos detectar autos, queríamos hacer una gran cantidad de tareas. Así que, por ejemplo, queremos hacer reconocimiento y detección de semáforos, predicción de carriles, etcétera. Así que muy rápidamente convergimos en este tipo de disposición arquitectónica donde hay un backbone común compartido que luego se ramifica en varias cabezas. Por eso las llamamos redes hidra, y estas son las cabezas de la hidra. Ahora bien, esta disposición arquitectónica tiene varios beneficios. Primero, debido al compartimiento de características, podemos amortizar la pasada hacia adelante de inferencia en el auto en tiempo de prueba. Y esto es muy eficiente de ejecutar porque si tuviéramos que tener un backbone para cada tarea individual, serían muchísimos backbones en el auto. Segundo, esto desacopla todas las tareas, así que podemos trabajar individualmente en cada tarea de forma aislada. Y, por ejemplo, podemos actualizar cualquiera de los conjuntos de datos o cambiar parte de la arquitectura de la cabeza, etcétera. Y no estás afectando a ninguna de las otras tareas. Así que no tenemos que volver a validar todas las demás tareas, lo cual puede ser costoso. Y tercero, porque hay este cuello de botella aquí en las características, lo que hacemos bastante a menudo es que en realidad guardamos estas características en disco. Y cuando hacemos estos flujos de ajuste fino, solo ajustamos a partir de las características guardadas hacia arriba, y solo ajustamos las cabezas. Así que, la mayoría de las veces, en términos de nuestros flujos de entrenamiento, hacemos una ejecución de entrenamiento de extremo a extremo de vez en cuando, donde entrenamos todo de forma conjunta, luego guardamos las características al nivel de característica multiescala, y luego hacemos ajuste fino a partir de eso por un tiempo, y luego volvemos a entrenar de extremo a extremo una vez más, y así sucesivamente. Así que aquí están los tipos de predicciones que obteníamos, diría yo, hace varios años, de una de estas redes hidra. Así que, de nuevo, estamos procesando imágenes individuales.
Estamos procesando solo una imagen individual y estamos haciendo una gran cantidad de predicciones sobre estas imágenes. Así que, por ejemplo, aquí pueden ver predicciones de las señales de alto, las líneas de alto, las líneas, los bordes, los autos, los semáforos, las cunetas aquí, si el auto está estacionado o no, todos los objetos estáticos como botes de basura, conos, etcétera. Y todo esto sale de la red, en este caso, de la red hidra. Así que todo eso estaba bien, pero mientras trabajábamos hacia la FSD, rápidamente descubrimos que esto no era suficiente. Así que esto empezó a romperse cuando comenzamos a trabajar en Smart Summon. Aquí estoy mostrando algunas de las predicciones solo de la tarea de detección de cunetas, y ahora las estoy mostrando para cada una de las cámaras. Así que queríamos abrirnos camino por el estacionamiento para encontrar a la persona que está llamando al auto. Ahora bien, el problema es que no se puede conducir directamente sobre predicciones en el espacio de la imagen. Realmente hay que proyectarlas hacia afuera y formar algún tipo de espacio vectorial alrededor de uno. Así que intentamos hacer esto usando C y desarrollamos lo que en ese momento llamábamos el rastreador de ocupación. Así que aquí vemos que las detecciones de cunetas provenientes de las imágenes se van cosiendo entre escenas de cámaras, límites de cámaras y a lo largo del tiempo. Ahora bien, había dos problemas importantes, diría yo, con esta configuración. Primero, descubrimos muy rápido que ajustar el rastreador de ocupación y todos sus hiperparámetros era extremadamente complicado. No quieres hacer esto explícitamente a mano en C. Quieres que esto esté dentro de una red neuronal y entrenarla de extremo a extremo. Segundo, descubrimos muy rápido que el espacio de la imagen no es el espacio de salida correcto. No quieres hacer predicciones en el espacio de la imagen. Realmente quieres hacerlo directamente en el espacio vectorial. Así que aquí hay una forma de ilustrar el problema. Aquí estoy mostrando en la primera fila las predicciones de nuestras curvas y nuestras líneas en rojo y azul, y se ven geniales en la imagen. Pero una vez que las proyectas hacia el espacio vectorial, las cosas empiezan a verse realmente terribles y no vamos a poder conducir con esto. Así que ven qué tan malas son las predicciones en el espacio vectorial. Y la razón de esto, fundamentalmente, es que necesitas tener una profundidad extremadamente precisa por píxel para poder hacer realmente esta proyección. Y entonces pueden imaginar qué tan alto es ese estándar, predecir esa profundidad con tanta precisión en cada píxel individual de la imagen. Y además, si hay alguna zona oculta donde quisieras hacer predicciones, no vas a poder, porque no es un concepto del espacio de la imagen en ese caso. Así que muy rápido nos dimos cu... El otro problema con esto, por cierto, también ocurre con la detección de objetos: si solo haces predicciones por cámara, entonces a veces te encontrarás con casos como este, donde un solo auto en realidad abarca cinco de las ocho cámaras. Y entonces, si haces predicciones individuales, ninguna cámara por sí sola ve todo el auto. Y entonces, obviamente, no vas a poder hacer un buen trabajo prediciendo ese auto completo. Y va a ser increíblemente difícil fusionar estas mediciones. Así que tuvimos la intuición de que lo que nos gustaría hacer en cambio es tomar todas las imágenes y alimentarlas simultáneamente en una sola red neuronal y generar la salida directamente en el espacio vectorial. Ahora bien, esto se dice muy fácilmente, pero es mucho más difícil de lograr en realidad. Pero, en términos generales, queremos diseñar una red neuronal de esta manera, donde procesamos cada imagen individual con un backbone, y luego queremos fusionarlas de alguna manera, y queremos volver a representar las características, pasando de características del espacio de la imagen directamente a algún tipo de características del espacio vectorial, y luego pasar a la decodificación de la cabeza. Ahora bien, hay dos problemas con esto. Primero, cómo crear realmente los componentes de la red neuronal que hacen esta transformación, y hay que hacerla diferenciable para que sea posible el entrenamiento de extremo a extremo. Y segundo, si quieres predicciones en el espacio vectorial de tu red neuronal, necesitas conjuntos de datos basados en vectores. Así que simplemente etiquetar imágenes y demás no va a llevarte ahí. Necesitas etiquetas en el espacio vectorial. Vamos a hablar mucho más sobre el problema número dos más adelante en la charla. Por ahora quiero enfocarme en la arquitectura de la red neuronal. Así que voy a profundizar en el problema número uno. Así que aquí está el problema, más o menos, ¿verdad? Estamos tratando de tener esta predicción en vista de pájaro en lugar de predicciones en el espacio de la imagen. Así que, por ejemplo, enfoquémonos en el único píxel en el espacio de salida, en amarillo. Y este píxel está tratando de decidir si es parte de una cuneta o no. Como ejemplo. Y ahora, ¿de dónde debería venir el sustento para este tipo de predicción en el espacio de la imagen? Bueno, sabemos más o menos cómo están ubicadas las cámaras y sus parámetros extrínsecos e intrínsecos, así que podemos proyectar aproximadamente este punto en las imágenes de las cámaras. Y, ya saben, la evidencia de si esto es o no una cuneta puede venir de algún lugar aquí en las imágenes. El problema es que esta proyección es realmente difícil de obtener correctamente porque es una función de la superficie de la carretera. La superficie de la carretera podría estar inclinándose hacia arriba o hacia abajo. O también podría haber otros problemas que dependen de los datos. Por ejemplo, podría haber oclusión debido a un auto. Así que si hay un auto que oculta esta parte del campo de visión, esta parte de la imagen, entonces en realidad podrías querer fijarte en una parte distinta de la imagen, no en la parte donde se proyecta. Y entonces, como esto depende de los datos, es realmente difícil tener una transformación fija para este componente. Así que para resolver este problema, usamos un transformer para representar este espacio. Y este transformer usa autoatención multicabeza y bloques de ella. En este caso, en realidad podemos arreglarnos incluso con un solo bloque que hace gran parte de este trabajo. Y en efecto, lo que hace esto es que inicializas una trama del tamaño del espacio de salida que quieres, y la cubres con codificaciones posicionales, con senos y cosenos, en el espacio de salida. Y luego estas se codifican con un MLP en un conjunto de vectores de consulta. Y luego todas las imágenes y sus características también emiten sus propias claves y valores. Y luego las consultas, las claves y los valores alimentan la autoatención multicabeza. Y entonces, en efecto, lo que sucede es que cada fragmento de imagen está transmitiendo en su clave de qué es parte. Entonces es como: oye, soy parte de un pilar en más o menos esta ubicación y estoy viendo este tipo de cosas, y eso está en la clave; y luego cada consulta es algo así como: oye, soy un píxel en el espacio de salida en esta posición y estoy buscando características de este tipo. Luego las claves y las consultas interactúan de forma multiplicativa, y luego los valores se agrupan en consecuencia. Y así se vuelve a representar el espacio. Y encontramos que esto era muy efectivo para esta transformación. Así que si haces toda la ingeniería correctamente, esto de nuevo se dice muy fácil, pero es difícil de hacer. Haces toda la ingeniería correctamente. Hay un problema más, hay un problema más en realidad antes, no estoy seguro de por qué las diapositivas hacen esto. Así que una cosa más, hay que tener cuidado con algunos de los detalles aquí cuando se intenta lograr que esto funcione. Así que, en particular, todos nuestros autos están ligeramente desalineados, cada uno de una manera levemente distinta. Y entonces, si estás haciendo esta transformación del espacio de la imagen al espacio de salida, realmente necesitas saber cuál es tu calibración de cámara, y necesitas introducir eso de alguna manera en la red neuronal. Y entonces definitivamente podrías simplemente concatenar las calibraciones de cámara de todas las imágenes y alimentarlas de alguna manera con un MLP. Pero en realidad descubrimos que podemos hacerlo mucho mejor transformando todas las imágenes en una cámara virtual sintética usando una transformación de rectificación especial. Así que así es como se vería eso. Insertamos una nueva capa justo encima de la capa de rectificación de imagen. Es una función de la calibración de la cámara y traduce todas las imágenes a una cámara virtual común. Así que si promediaras muchas imágenes del espejo repetidor, por ejemplo, que apunta hacia atrás, obtendrías, y sin hacer esto, obtendrías una especie de desenfoque. Pero después de hacer la transformación de rectificación, ven que el espejo retrovisor se vuelve realmente nítido. Así que una vez que haces esto, el rendimiento mejora bastante. Así que aquí hay algunos de los resultados. Así que a la izquierda estamos viendo lo que teníamos antes, y a la derecha ahora estamos viendo predicciones significativamente mejoradas que salen directamente de la red neuronal. Esta es una red multicámara que predice directamente en el espacio vectorial. Y pueden ver que es básicamente de noche y día. Realmente se puede conducir con esto. Y esto tomó tiempo, mucha ingeniería y un trabajo increíble del equipo de IA para lograr que esto funcionara, se desplegara y fuera eficiente en el auto. Esto también mejoró mucho nuestra detección de objetos. Así que, por ejemplo, aquí en este video estoy mostrando predicciones de una sola cámara en naranja y predicciones multicámara en azul. Y básicamente, si no puedes predecir estos autos, si solo estás viendo una pequeñísima porción de un auto... Entonces tus detecciones no van a ser muy buenas y sus posiciones no van a ser buenas. Pero una red multicámara no tiene ese problema. Aquí hay otro video de una situación más normal. Y vemos que, a medida que estos autos en este espacio reducido cruzan los límites entre cámaras, entra mucho desorden en las predicciones. Y básicamente toda la configuración simplemente no tiene sentido, especialmente para vehículos muy grandes como este. Y podemos ver que la red multicámara tiene muchas menos dificultades con este tipo de predicciones. Bien, así que en este punto tenemos redes multicámara y están dando predicciones directamente en el espacio vectorial, pero todavía estamos operando en cada instante de tiempo de forma completamente independiente. Así que muy rápido descubrimos que hay una gran cantidad de predicciones que queremos hacer que en realidad requieren el contexto del video. Y necesitamos de alguna manera descubrir cómo introducir esto en la red. Así que, en particular, ¿este auto está estacionado o no? ¿Se está moviendo? ¿Qué tan rápido se está moviendo? ¿Sigue ahí aunque esté temporalmente oculto? O, por ejemplo, si estoy tratando de predecir la geometría de la carretera por delante, es muy útil saber si las señales o las marcas en el pavimento que vi hace 15 años... Así que intentamos desarrollar, intentamos insertar módulos de video en nuestra arquitectura de red neuronal. Y esta es una de las soluciones a las que hemos llegado. Así que tenemos las características multiescala como las teníamos antes. Y lo que vamos a insertar ahora es un módulo de cola de características que va a guardar algunas de estas características a lo largo del tiempo, y luego un módulo de video que va a fusionar esta información temporalmente, y luego vamos a continuar hacia las cabezas que hacen la decodificación. Ahora voy a repasar ambos bloques uno por uno. Además, noten que también estamos introduciendo la cinemática. Básicamente esto es la velocidad y la aceleración, que nos indican cómo se está moviendo el auto. Así que no solo vamos a llevar registro de lo que vemos desde todas las cámaras, sino también de cómo se ha desplazado el auto. Así que aquí está la cola de características y su disposición general. Básicamente estamos concatenando estas características a lo largo del tiempo, junto con la cinemática de cómo se ha movido el auto y las codificaciones posicionales, y eso se concatena, se codifica y se guarda en una cola de características que luego será consumida por un módulo de video. Ahora bien, hay algunos detalles aquí que de nuevo hay que resolver bien. Así que, en particular, en cuanto a los mecanismos de extracción e inserción, y cuándo insertas y cómo, y especialmente cuándo insertas. Básicamente. Así que aquí hay un diagrama ilustrativo de algunos de los desafíos aquí. Va a haber auto propio viniendo desde abajo y llegando a esta intersección aquí. Y luego el tráfico va a empezar a cruzar frente a nosotros y va a empezar a ocultar temporalmente algunos de los autos de adelante. Y luego vamos a quedar atascados en esta intersección por un rato, simplemente esperando nuestro turno. Esto es algo que sucede todo el tiempo y es una representación esquemática de algunos de los desafíos aquí. Así que, primero, en cuanto a la cola de características, y cuándo queremos insertar en una cola, obviamente nos gustaría tener algún tipo de cola basada en tiempo, donde, por ejemplo, insertamos características en la cola cada 27 milisegundos. Y entonces, si un auto queda temporalmente oculto, la red neuronal ahora tiene la capacidad de mirar y referirse a la memoria en el tiempo, y aprender la asociación de que, aunque esto se vea oculto ahora, hay un registro de ello en mis características anteriores, y puedo usar esto para seguir haciendo una detección. Así que ese es, digamos, el más obvio. Pero el que también descubrimos que es necesario en nuestro caso. El caso es, por ejemplo, supongamos que estás tratando de hacer predicciones sobre la superficie de la carretera y la geometría del camino por delante, y estás tratando de predecir que estás en un carril de giro y que el carril de al lado sigue recto. Entonces es realmente necesario conocer las marcas de carril y las señales, y a veces ocurrieron hace bastante tiempo. Y entonces, si solo tienes una cola basada en tiempo, podrías olvidar las características mientras esperas en el semáforo en rojo. Así que, además de una basada en tiempo, también tenemos una cola basada en espacio. Así que insertamos cada vez que el auto recorre una distancia fija determinada. Así que algunos de estos detalles en realidad pueden importar bastante. Y entonces, en este caso, tenemos una cola basada en tiempo y una cola basada en espacio para guardar nuestras características. Y eso continúa hacia el módulo de video. Ahora bien, para el módulo de video, consideramos varias posibilidades de cómo fusionar esta información temporalmente. Así que consideramos convoluciones tridimensionales, transformers, transformers axiales, en un esfuerzo por hacerlos más eficientes. Redes neuronales recurrentes de una gran cantidad de variedades. Pero el que en realidad nos gusta bastante, y en el que quiero detenerme un poco, es un módulo de video de red neuronal recurrente espacial. Y entonces lo que estamos haciendo aquí es que, debido a la estructura del problema, conducimos sobre superficies bidimensionales. En realidad podemos organizar el estado oculto en una cuadrícula bidimensional. Y luego, a medida que el auto se desplaza, actualizamos solo las partes que están cerca del auto y donde el auto tiene visibilidad. Así que, a medida que el auto se desplaza, usamos la cinemática para integrar la posición del auto en la cuadrícula de características ocultas. Y solo actualizamos la RNN en los puntos que están cerca de nosotros, por así decirlo. Así que aquí hay un ejemplo de cómo se ve esto. Lo que les voy a mostrar es el auto desplazándose, y estamos observando el estado oculto de esta RNN. Y estos son distintos canales dentro del estado oculto. Así que pueden ver que, después de optimizar y entrenar esta red neuronal, algunos de los canales llevan registro de diferentes aspectos de la carretera, como por ejemplo los centros de la carretera, los bordes, las líneas, la superficie de la carretera, etcétera. Aquí hay otro video genial de esto. Así que esto muestra el promedio de los primeros 10 canales del estado oculto para distintos recorridos de distintas intersecciones. Y básicamente lo único que quiero que vean es que hay actividad interesante a medida que la red neuronal recurrente lleva registro de lo que sucede en cada instante de tiempo. Y pueden imaginar que ahora le hemos dado a la red neuronal la capacidad de leer y escribir selectivamente en esta memoria. Así que, por ejemplo, si hay un auto justo al lado nuestro que está ocultando partes de la carretera, entonces ahora la red tiene la capacidad de no escribir en esas ubicaciones. Pero cuando el auto se va y tenemos una vista realmente buena, entonces la red neuronal recurrente puede decir, bien, tenemos muy buena visibilidad. Definitivamente queremos escribir información sobre lo que hay en esa parte del espacio. Aquí hay algunas predicciones que muestran cómo se ve esto. Así que aquí estamos haciendo predicciones sobre los límites de la carretera en rojo, las áreas de intersección en azul, los centros de la carretera, etcétera. Así que solo estamos mostrando algunas de las predicciones aquí, para mantener limpia la visualización. Y sí, esto lo hace la RNN espacial. Y esto solo está mostrando un único clip, un único recorrido. Pero pueden imaginar que podría haber múltiples viajes por aquí, y básicamente cierta cantidad de autos y de clips podrían colaborar para construir este mapa, básicamente y en efecto un mapa de alta definición. Excepto que no está en un espacio de elementos explícitos, está en un espacio de características de una red neuronal recurrente, lo cual es bastante interesante. No había visto eso antes. Las redes de video también mejoraron bastante nuestra detección de objetos. Así que en este ejemplo quiero mostrarles un caso donde hay dos autos ahí, y un auto va a pasar y los va a ocultar brevemente. Así que miren lo que sucede con el fotograma único y las predicciones de video a medida que los autos pasan frente a nosotros. Sí, eso tiene mucho sentido. Así que un recorrido rápido de lo que está sucediendo. Cuando ambos están a la vista, las predicciones son más o menos equivalentes, y están viendo varios recuadros naranjas porque provienen de las distintas cámaras. Cuando están ocultos, las redes de fotograma único pierden la detección, pero el módulo de video la recuerda y podemos mantener a los autos; y luego, cuando están solo parcialmente ocultos, la red de fotograma único se ve forzada a hacer su mejor suposición sobre lo que está viendo, y se ve forzada a hacer una predicción, y hace una predicción realmente terrible. Pero el módulo de video sabe que hay solo una oclusión parcial, tiene la información y sabe que esta no es una parte muy fácilmente visible en este momento, y en realidad no toma eso en cuenta de la misma manera. También vimos mejoras significativas en nuestra capacidad para estimar la profundidad y, por supuesto, especialmente la velocidad. Así que aquí estoy mostrando un clip de nuestro proyecto de eliminar el radar, donde vemos la profundidad y la velocidad del radar en verde, y estábamos intentando igualar o incluso superar, por supuesto, la señal obtenida solo a partir de las redes de video. Y lo que están viendo aquí en naranja es el rendimiento de un solo fotograma, y en azul, de nuevo, los módulos de video. Y entonces ven que la calidad de la profundidad es mucho mayor, y en cuanto a la velocidad, la señal naranja, claro, no se puede obtener velocidad de una red de un solo fotograma. Así que usamos, simplemente diferenciamos la profundidad para obtener eso. Pero el módulo de video en realidad está básicamente justo encima de la señal del radar. Y entonces descubrimos que esto funcionó extremadamente bien para nosotros. Así que aquí está todo junto. Así es más o menos como se ve nuestra arquitectura hoy. Así que tenemos las imágenes en bruto entrando por abajo. Pasan por una capa de rectificación para corregir la calibración de la cámara y poner todo en una cámara virtual común. Las pasamos por regnets, redes residuales, para procesarlas en varias características a diferentes escalas. Fusionamos la información multiescala con BiFPN. Esto pasa por un módulo transformer para volver a representarlo en el espacio vectorial, en el espacio de salida. Esto alimenta una cola de características en el tiempo o en el espacio, que es procesada por un módulo de video como la RNN espacial, y luego continúa hacia la estructura ramificada de la red hidra, con troncos y cabezas para todas las distintas tareas, y eso es, más o menos, cómo se ve la arquitectura hoy. Y a la derecha están viendo algunas de sus predicciones, visualizadas tanto en vista de pájaro en el espacio vectorial como en imágenes. Así que, definitivamente, esta arquitectura se ha complejizado bastante desde una red muy simple basada en imágenes de hace unos tres o cuatro años, y sigue evolucionando; sin duda es bastante impresionante. Ahora bien, todavía hay oportunidades de mejora en las que el equipo está trabajando activamente. Por ejemplo, notarán que nuestra fusión de tiempo y espacio ocurre bastante tarde, en términos de red neuronal. Así que tal vez podamos hacer una fusión más temprana de espacio o tiempo, y hacer, por ejemplo, volúmenes de costo o redes tipo flujo óptico en la parte inferior. O, por ejemplo, nuestras salidas son tramas densas, y en realidad es bastante costoso postprocesar algunas de estas tramas densas en el auto. Y, por supuesto, tenemos requisitos de latencia muy estrictos, así que esto no es ideal. En realidad estamos investigando todo tipo de formas de predecir solo la estructura dispersa de la carretera, tal vez, ya saben, punto por punto o de alguna otra manera que no requiera un postprocesamiento costoso. Pero básicamente así es como se logra un espacio vectorial muy bueno. Y ahora creo que Ashok va a hablar sobre cómo podemos ejecutar la planificación y el control sobre esto.
Gracias, Andrej. Hola a todos, me llamo Ashok. Dirijo los equipos de planificación y control, etiquetado automático y simulación. Como mencionó Andrej, las redes de visión toman datos de video densos y luego los comprimen en un espacio vectorial 3D. El papel del planificador ahora es consumir este espacio vectorial y llevar al auto a su destino maximizando la seguridad, la comodidad y la eficiencia del auto. Incluso en 2019, nuestro planificador ya era un conductor bastante competente. Era capaz de mantenerse en el carril, hacer cambios de carril cuando era necesario y tomar las salidas de la autopista. Pero conducir en calles de la ciudad es mucho más complicado. Rara vez hay líneas de carril estructuradas. Los vehículos conducen de forma mucho más libre, a la que el auto tiene que responder. Todo tipo de obstáculos, cruces, vehículos y peatones haciendo cosas inesperadas. ¿Cuál es el problema clave en la planificación? Primero, el espacio de acciones es muy no convexo, y segundo, es de alta dimensionalidad. Lo que quiero decir con no convexo es que puede haber múltiples soluciones posibles que sean buenas de forma independiente. Pero obtener una solución globalmente consistente es bastante complicado. Así que puede haber bolsas de mínimos locales en las que el planificador puede quedar atrapado. Y, en segundo lugar, la alta dimensionalidad surge porque el auto necesita planificar para los próximos 10 a 15 segundos. Necesita producir la posición, las velocidades y la aceleración durante toda esta ventana de tiempo. Son muchos parámetros para producir en tiempo de ejecución. Los métodos de búsqueda discreta son muy buenos para resolver problemas no convexos porque, al ser discretos, no se quedan atrapados en mínimos locales. Mientras que la optimización de funciones continuas puede quedar fácilmente atrapada en mínimos locales y producir soluciones pobres que no son buenas. Por otro lado, para problemas de alta dimensionalidad, la búsqueda discreta es mala porque, al ser discreta, no usa ninguna información de gradiente. Así que literalmente tiene que ir y explorar cada punto para saber qué tan bueno es. Mientras que la optimización continua usa métodos basados en gradiente. Así que llega muy rápido a una buena solución. Nuestra solución a todo este problema es descomponerlo jerárquicamente. Primero usamos un método de búsqueda para reducir la no convexidad y obtener un corredor convexo. Y luego usamos técnicas de optimización continua para elaborar la trayectoria final suave. Veamos un ejemplo de cómo opera la búsqueda. Así que aquí estamos tratando de hacer un cambio de carril. En este caso, el auto necesita hacer dos cambios de carril consecutivos para hacer el giro a la izquierda más adelante. Para esto, el auto busca entre diferentes maniobras. Así que la primera que busca es un cambio de carril cercano. Pero el auto frena con bastante brusquedad, así que resulta bastante incómodo. La siguiente maniobra que intenta es el cambio de carril. Un poco tarde, así que acelera, pasa por detrás del otro auto, se pone delante de los otros autos y completa el cambio de carril. Pero ahora corre el riesgo de perder el giro a la izquierda. Hacemos miles de búsquedas de este tipo en un período de tiempo muy corto. Porque, como todos estos son modelos basados en física, estas características son muy fáciles de simular. Y al final tenemos un conjunto de candidatos, y finalmente elegimos uno basándonos en las condiciones de optimalidad de seguridad, comodidad y facilidad para hacer el giro. Así que ahora el auto ha elegido esta trayectoria, y pueden ver que, a medida que el auto ejecuta esta trayectoria, coincide bastante con lo que habíamos planificado. El gráfico cian a la derecha aquí, ese es la velocidad real del auto, y la línea blanca debajo. Eso era el plan. Así que pudimos planificar para 10 segundos aquí, y pudimos igualar eso cuando lo vemos en retrospectiva. Así que este es un plan bien elaborado. Al conducir junto a otros agentes, es importante no planificar solo para nosotros mismos, sino que en cambio tenemos que planificar para todos conjuntamente y optimizar el flujo de tráfico general de la escena. Para hacer esto, lo que hacemos es literalmente ejecutar el planificador de Autopilot en cada objeto relevante de la escena. Aquí hay un ejemplo de por qué eso es necesario. Este es un corredor estrecho. Déjenme que miren el video un segundo. Sí, eso era Autopilot conduciendo en otro corredor, rodeando autos estacionados, conos y postes. Aquí hay una vista 3D de lo mismo. El auto que viene de frente llega ahora, y Autopilot frena un poco, pero luego se da cuenta de que no podemos cederle el paso porque no tenemos espacio a nuestro lado, pero el otro auto sí puede cedernos el paso a nosotros. Así que, en lugar de simplemente frenar a ciegas aquí, todo nuestro razonamiento indica que ese auto tiene una velocidad lo suficientemente baja como para poder orillarse y debería cedernos el paso, porque nosotros no podemos cederle el paso a él, y avanza con decisión; llega un segundo auto de frente. Ahora bien, este vehículo tiene mayor velocidad, y como dije antes, literalmente ejecutamos el planificador de Autopilot para el otro objeto. Así que en este caso, ejecutamos el planificador para ellos. El plan de ese objeto ahora rodea los autos estacionados de su lado y luego, después de pasar los autos estacionados, vuelve al lado derecho de la carretera, desde su perspectiva. Como no sabemos qué está pensando el conductor, en realidad tenemos múltiples futuros posibles para este auto aquí. Un futuro se muestra en rojo, el otro se muestra en verde. El verde es un plan que nos cede el paso. Pero como la velocidad y la aceleración de este objeto son bastante altas, no creemos que esta persona nos vaya a ceder el paso, y en realidad va a rodear estos autos estacionados. Así que Autopilot decide que, bien, tengo espacio aquí, esta persona definitivamente va a avanzar, así que voy a orillarme. Así que, mientras Autopilot se está orillando, notamos que ese auto ha decidido cedernos el paso, según su tasa de giro y su aceleración. Y Autopilot cambia de opinión de inmediato y continúa avanzando. Por eso necesitamos planificar para todos, porque de otro modo no sabríamos que esta persona va a rodear los otros autos estacionados y volver a su lado. Si no hiciera esto, Autopilot sería demasiado tímido y no sería un auto autónomo práctico. Así que ahora vimos cómo la búsqueda y la planificación para otras personas configuran un valle convexo. Finalmente, hacemos una optimización continua para producir la trayectoria final que el planificador necesita tomar. Aquí, lo gris es el corredor convexo. E inicializamos la spline en rumbo y aceleración, parametrizada sobre la longitud de arco del plan. Y pueden ver que la optimización hace continuamente cambios muy finos para reducir todos sus costos. Algunos de los costos, por ejemplo, son la distancia a los obstáculos, el tiempo de recorrido y la comodidad. Para la comodidad, pueden ver que los gráficos de aceleración lateral a la derecha tienen formas trapezoidales agradables. Ya va a aparecer. Sí. Aquí, a la derecha, el gráfico verde, esa es una bonita forma trapezoidal. Y si registran una trayectoria humana, básicamente así es como se ve. El tirón lateral también se minimiza. Así que, en resumen, hacemos una búsqueda tanto para nosotros como para todos los demás en la escena. Configuramos un corredor convexo y luego optimizamos para obtener una trayectoria suave. Juntas, estas cosas pueden lograr resultados realmente interesantes, como se muestra arriba. Pero conducir se ve un poco distinto en otros lugares, como de donde yo soy. Es mucho más desestructurado. Autos y peatones cruzándose entre sí, frenazos, bocinazos. Es un mundo una locura. Podemos intentar escalar estos métodos, pero va a ser realmente difícil resolver esto de forma eficiente en tiempo de ejecución. Lo que queremos hacer en cambio es usar métodos basados en aprendizaje para resolverlos de forma eficiente. Y quiero mostrarles por qué esto es cierto. Así que vamos a pasar de este problema complicado a un problema de estacionamiento mucho más simple, como un juguete, pero que igualmente ilustra la esencia del problema aquí. Este es un estacionamiento. El auto propio está en azul y necesita estacionar en el lugar verde aquí. Así que necesita rodear las cunetas, los autos estacionados y los conos mostrados en naranja aquí. Esta es una referencia sencilla. Es un algoritmo estándar que usa una búsqueda basada en una cuadrícula. Y la heurística aquí es una distancia, la distancia euclidiana hasta la meta. Así que pueden ver que se dirige directamente hacia la meta, pero muy rápidamente queda atrapado en un mínimo local, y desde ahí retrocede y luego busca un camino distinto para intentar rodear este auto estacionado. Con el tiempo logra avanzar y llega a la meta, pero termina usando 400.000 nodos para lograrlo. Obviamente, esta es una heurística terrible. Queremos hacerlo mejor que esto. Así que, si le agregas una ruta de navegación y le pides al auto que siga la ruta de navegación mientras se mantiene cerca de la meta, esto es lo que sucede. La ruta de navegación ayuda de inmediato, pero cuando encuentra conos u otros obstáculos, básicamente hace lo mismo que antes: retrocede y luego busca un nuevo camino. Y esta pobre búsqueda no tiene idea de que estos obstáculos existen. Literalmente tiene que ir hasta ahí, comprobar si hay colisión y, si la hay, retroceder. La heurística de navegación ayudó, pero aun así esto tomó 22.000 nodos. Podemos diseñar cada vez más de estas heurísticas para que la búsqueda sea cada vez más rápida. Pero en realidad es tedioso y difícil diseñar una heurística globalmente óptima. Incluso si tuviéramos una función de distancia a los conos que guiara la búsqueda, esto solo sería efectivo para ese cono individual. Pero lo que necesitamos es una función de valor global. Así que, en lugar de eso, lo que queremos usar son redes neuronales que nos den esta heurística. Las redes de visión producen el espacio vectorial y tenemos autos moviéndose dentro de él. Básicamente esto se parece a un juego de Atari, y es una versión multijugador. Así que podemos usar técnicas como MuZero, AlphaZero, etcétera, que se usaron para resolver Go y otros juegos de Atari, para resolver este mismo problema. Así que estamos trabajando en redes neuronales que puedan producir distribuciones de estado y acción que luego se puedan conectar a una búsqueda de árbol de Monte Carlo con varias funciones de costo. Algunas de las funciones de costo pueden ser funciones de costo explícitas, como esta, por ejemplo, colisiones, comodidad, tiempo de recorrido, etcétera. Etcétera. Pero también pueden ser intervenciones provenientes de los eventos reales de conducción manual. Entrenamos una red así para este problema simple de estacionamiento. Así que, de nuevo, el mismo problema. Veamos cómo le va a la búsqueda de árbol MCTS. Así que aquí notan que el planificador es básicamente capaz, de una sola vez, de avanzar hacia la meta. Noten que esto ni siquiera está usando una heurística de navegación. Solo con la escena dada, el plan es capaz de ir directamente hacia la meta. Todas las otras ramificaciones que están viendo son opciones posibles. No está eligiendo ninguna de ellas, solo elige la opción que lo lleva directamente hacia la meta. La razón es que la red neuronal es capaz de absorber el contexto global de la escena y luego producir una función de valor que efectivamente la guía hacia un mínimo global, en lugar de quedar atrapada en algún mínimo local. Así que esto solo toma 288 nodos, varios órdenes de magnitud menos que lo que se hizo con el A* y la heurística de distancia euclidiana. Así que así es como se va a ver una arquitectura final. El sistema de visión va a comprimir los datos de video densos en un espacio vectorial. Va a ser consumido tanto por un planificador explícito como por un planificador de red neuronal. Además de esto, el planificador de red también puede consumir características intermedias de la red. Juntos, esto produce una distribución de trayectorias, y se puede optimizar de extremo a extremo tanto con funciones de costo explícitas como con intervención humana y otros datos de imitación. Esto luego pasa a una función de planificación explícita que hace lo que sea fácil para ella y produce los comandos finales de dirección y aceleración para el auto. Con esto, ahora necesitamos explicar cómo entrenamos estas redes. Y para entrenar estas redes, necesitamos grandes conjuntos de datos. Invito a Andrej a hablar brevemente sobre el etiquetado manual.
Sí, así que los datos, la historia de los conjuntos de datos es crítica. Claro. Hasta ahora solo hemos hablado de redes neuronales. Pero las redes neuronales solo establecen un límite superior de tu rendimiento. Muchas de estas redes neuronales tienen cientos de millones de parámetros. Y estos cientos de millones de parámetros tienen que estar configurados correctamente. Si tienes una mala configuración de parámetros, no va a funcionar. Así que las redes neuronales son solo un límite superior. También necesitas conjuntos de datos masivos para entrenar realmente los algoritmos correctos dentro de ellas. Ahora bien, en particular mencioné que queremos conjuntos de datos directamente en el espacio vectorial. Y entonces la verdadera pregunta es: ¿cómo puedes acumular? Porque nuestras redes tienen cientos, millones de parámetros. ¿Cómo acumulas millones y millones de ejemplos del espacio vectorial que sean limpios y diversos para realmente entrenar estas redes neuronales de forma efectiva ahora? Así que hay una historia de los conjuntos de datos y de cómo han evolucionado paralelamente a todos los modelos y avances que hemos logrado hasta ahora. En particular, cuando me uní hace aproximadamente cuatro años, trabajábamos con un tercero para obtener muchos de nuestros conjuntos de datos. Ahora bien, desafortunadamente, descubrimos muy rápido que trabajar con un tercero para obtener conjuntos de datos para algo tan crítico simplemente no iba a ser suficiente. La latencia de trabajar con un tercero era extremadamente alta, y honestamente la calidad no era increíble. Y entonces, en el espíritu de la integración vertical total de Tesla, trajimos todo el etiquetado adentro de la empresa. Y así, con el tiempo, hemos crecido hasta tener una organización de etiquetado de datos de más de 1.000 personas, llena de etiquetadores profesionales que trabajan muy de cerca con los ingenieros. Así que, de hecho, están aquí en Estados Unidos y ubicados junto con los ingenieros aquí en el Área de la Bahía también. Y así trabajamos muy de cerca con ellos, y también construimos nosotros mismos, desde cero, toda la infraestructura para ellos. Así que tenemos un equipo que vamos a conocer más tarde hoy, que desarrolla y mantiene toda esta infraestructura para el lago de datos. Y así aquí, por ejemplo, estoy mostrando algunas capturas de pantalla de las estadísticas de latencia, rendimiento y calidad que mantenemos sobre todos los flujos de etiquetado, las personas individuales involucradas y todas las tareas, y cómo va creciendo el número de etiquetas con el tiempo. Así que encontramos que esto era bastante crítico, y estamos muy orgullosos de ello. Ahora bien, al principio, hace aproximadamente tres o cuatro años, la mayoría de nuestro etiquetado era en el espacio de la imagen. Y entonces pueden imaginar que esto toma bastante tiempo para anotar una imagen como esta. Y así es como se veía, donde estamos, digamos, dibujando polígonos y polilíneas sobre estas imágenes individuales. Como mencioné, necesitamos millones de etiquetas en el espacio vectorial, así que esto no iba a ser suficiente. Así que muy rápido pasamos a un etiquetado tridimensional o tetradimensional, donde etiquetamos directamente en el espacio vectorial, no en imágenes individuales. Así que aquí lo que estoy mostrando es un clip, y están viendo una reconstrucción muy pequeña. Van a ver muchas más reconstrucciones pronto. Pero es una reconstrucción muy pequeña del plano del suelo por donde condujo el auto, y un poco de la nube de puntos aquí que fue reconstruida. Y lo que están viendo aquí es que el etiquetador está cambiando las etiquetas directamente en el espacio vectorial, y luego nosotros reproyectamos esos cambios en las imágenes de las cámaras. Así que estamos etiquetando directamente en el espacio vectorial. Y esto nos dio un aumento enorme en el rendimiento para muchas de nuestras etiquetas, porque etiquetas una vez en 3D y luego puedes reproyectar. Pero incluso esto, nos dimos cuenta, en realidad no iba a ser suficiente. Porque las personas y las computadoras tienen pros y contras diferentes. Las personas son extremadamente buenas en cosas como la semántica, pero las computadoras son muy buenas en geometría, reconstrucción, triangulación, seguimiento. Y entonces, realmente, para nosotros, esto se está convirtiendo mucho más en una historia de cómo colaboran los humanos y las computadoras para crear realmente estos conjuntos de datos en el espacio vectorial. Y entonces ahora vamos a hablar sobre el etiquetado automático, que es parte de la infraestructura que hemos desarrollado para etiquetar estos clips a gran escala.
Hola de nuevo. Así que, aunque tenemos muchos trabajadores humanos, la cantidad de entrenamiento necesaria para entrenar la red los supera en número significativamente. Así que intentamos invertir en una canalización masiva de etiquetado automático. Aquí hay un ejemplo de cómo etiquetamos un solo clip. Un clip es una entidad que tiene datos densos de sensores, como videos, datos de IMU, GPS, odometría, etcétera. Esto puede durar de 45 segundos a un minuto. Estos pueden ser subidos por nuestro propio equipo de ingeniería o desde los autos de los clientes. Recopilamos estos clips y luego los enviamos a nuestros servidores, donde ejecutamos muchas redes neuronales fuera de línea para producir resultados intermedios, como segmentación, coincidencia de puntos de profundidad, etcétera. Esto luego pasa por muchos algoritmos de robótica e IA para producir un conjunto final de etiquetas que se pueden usar para entrenar las redes. Uno de los primeros pasos que queremos etiquetar es la superficie de la carretera. Normalmente podríamos usar splines o mallas para representar la superficie de la carretera, pero esas, debido a restricciones de topología, no son diferenciables y no se prestan para producir esto. Así que lo que hacemos en cambio es al estilo del trabajo de campos de radiancia neuronal del año pasado, que es bastante popular. Así que usamos una representación implícita para representar la superficie de la carretera. Aquí consultamos puntos XY en el suelo y le pedimos a la red que prediga la altura de la superficie del suelo, junto con varias características semánticas como curvas, límites de carril, superficie de la carretera, espacio del conductor, etcétera. Así que, dado un solo punto X, Y, obtenemos una Z; juntos forman un punto 3D, y pueden reproyectarse en todas las vistas de las cámaras. Así que hacemos millones de estas consultas y obtenemos muchos puntos. Estos puntos se reproyectan en todas las vistas de las cámaras que estamos mostrando arriba a la derecha aquí, una de esas imágenes de cámara con todos estos puntos reproyectados. Ahora podemos comparar este punto reproyectado con el espacio de la imagen. La predicción de las segmentaciones y la optimización conjunta de esto en todas las vistas de las cámaras, tanto en el espacio como en el tiempo, produce una reconstrucción excelente. Aquí hay un ejemplo de cómo se ve eso. Así que esta es una superficie de carretera optimizada que se reproyecta en las ocho cámaras que tiene el auto, y a lo largo de todo el tiempo. Y pueden ver cómo es consistente tanto en el espacio como en el tiempo. Así que un solo auto conduciendo por algún lugar puede cubrir cierta zona alrededor de la trayectoria usando esta técnica. Pero no tenemos que detenernos ahí. Así que aquí recopilamos distintos clips del mismo lugar, tal vez de autos diferentes, y cada uno de ellos cubre alguna parte de su carretera. Lo interesante es que podemos juntarlos todos en una sola optimización gigante. Así que aquí estos 16 viajes distintos se organizan alineándose mediante varias características, como los bordes de la carretera, las líneas de carril. Todos deberían coincidir entre sí y también coincidir con todas sus observaciones basadas en imágenes. Juntas, proporcionan una forma efectiva de etiquetar la superficie de la carretera, no solo donde condujo el auto, sino también en otros lugares por donde todavía no ha conducido. De nuevo, el objetivo de esto no es simplemente construir mapas de alta definición ni nada parecido. Es solo para etiquetar los clips a través de estas intersecciones, así que no tenemos que mantenerlos para siempre, mientras las etiquetas sean consistentes con los videos con los que se recopilaron. Opcionalmente, los humanos pueden luego venir sobre esto para limpiar cualquier ruido o agregar metadatos adicionales para enriquecerlo aún más. No tenemos que detenernos solo en la superficie de la carretera. También podemos reconstruir arbitrariamente obstáculos estáticos en 3D. Aquí esta es una nube de puntos 3D reconstruida a partir de nuestras cámaras. La principal innovación aquí es la densidad de la nube de puntos. Normalmente estos puntos requieren textura para formar asociaciones de un fotograma al siguiente. Pero aquí somos capaces de producir estos puntos incluso en superficies sin textura, como la superficie de la carretera o las paredes. Y esto es realmente útil para anotar obstáculos arbitrarios que podemos ver en la escena, en el mundo. Otra ventaja interesante de hacer todo esto en los servidores, fuera de línea, es que tenemos el beneficio de la retrospectiva. Este es un truco realmente útil porque, digamos, en el auto, la red necesita producir la velocidad. Solo tiene que usar la información histórica y adivinar cuál es la velocidad. Pero aquí podemos ver tanto el pasado como también el futuro, y básicamente hacer trampa y obtener la respuesta correcta de la cinemática, como velocidad, aceleración, etcétera. Otra ventaja es que podemos tener distintos seguimientos, pero podemos coserlos juntos incluso a través de oclusiones. Porque conocemos el futuro, tenemos seguimientos futuros, podemos emparejarlos y luego asociarlos. Así que aquí pueden ver que los peatones del otro lado de la carretera son persistentes incluso a través de múltiples oclusiones causadas por estos autos. Esto es realmente importante para el planificador, porque el planificador necesita saber que, si vio a alguien, todavía tiene que tenerlo en cuenta, incluso cuando está oculto. Así que esto es una ventaja enorme. Combinando todo esto, podemos producir estos conjuntos de datos asombrosos que anotan toda la textura de la carretera, todos los objetos estáticos y todos los objetos en movimiento, incluso a través de oclusiones, produciendo etiquetas cinemáticas excelentes. Pueden ver cómo los autos giran suavemente, produciendo etiquetas realmente suaves. Todos los peatones son seguidos de forma consistente, los autos estacionados tienen velocidad cero. Así que también podemos saber que están estacionados. Así que esto es enorme para nosotros. Este es otro ejemplo de lo mismo. Pueden ver cómo todo es consistente. Queremos producir un millón de clips etiquetados así y entrenar nuestras redes de video multicámara con un conjunto de datos tan grande, y realmente resolver este problema a fondo. Queremos obtener la misma vista consistente que están viendo aquí en el auto. Empezamos nuestra primera exploración de esto con el proyecto de eliminar el radar. Lo eliminamos en un período de tiempo muy corto, creo que en menos de tres meses. En los primeros días de la red, notamos, por ejemplo, que en condiciones de baja visibilidad la red podía tener dificultades, lo cual es comprensible porque, obviamente, este camión acaba de arrojarnos encima un montón de nieve, y es realmente difícil ver. Pero deberíamos seguir recordando que este auto estaba frente a nosotros. Pero nuestras redes, en sus primeras etapas, no hacían esto por la falta de datos en condiciones como esta. Así que lo que hicimos fue pedirle a la flota que produjera muchos clips similares, y la flota respondió, lo hizo. Así que produce. ¿Se reproduce? Sí, produce muchos clips de video donde porquerías caen de todos los demás vehículos. Y enviamos esto a través de nuestra canalización de etiquetado automático, que fue capaz de etiquetar 10.000 clips en el transcurso de una semana. Esto habría tomado varios meses con humanos etiquetando cada uno de estos clips. Así que hicimos esto para 200 condiciones diferentes, y pudimos crear rápidamente grandes conjuntos de datos, y así fue como pudimos eliminar esto. Así que, una vez que entrenamos las redes con estos datos, pueden ver que funciona totalmente. Y mantiene la memoria de que este objeto estaba ahí, y eso lo permite. Así que, finalmente, quisimos incluir realmente un Cybertruck en un conjunto de datos para eliminar el radar. ¿Pueden adivinar de dónde sacamos este clip? Les doy un momento. Alguien lo dijo. Sí, sí. Está renderizado. Es nuestra simulación. Me costó distinguirlo al principio, y si me permiten decirlo, se ve bonito. Se ve muy bonito. Así que, sí, además del etiquetado automático, también invertimos fuertemente en el uso de simulación para etiquetar nuestros datos. Así que esta es la misma escena que vimos antes, pero desde un ángulo de cámara diferente. Algunas cosas que quería señalar. Por ejemplo, la superficie del suelo, no es asfalto liso. Hay muchas grietas y costuras de alquitrán. Hay algunos parches hechos sobre ella. Los vehículos se mueven de forma realista. El camión está articulado, incluso pasa sobre la cuneta y hace un giro amplio. Los otros autos se comportan de forma igualmente inteligente. Evitan colisiones, rodean a los autos y también frenan y aceleran suavemente. Frenan y aceleran suavemente. El auto aquí con el logo arriba es Autopilot. De hecho, Autopilot está conduciendo ese auto. Y hace un giro a la izquierda protegido, con decisión. Y como es una simulación, parte del espacio vectorial, así que tiene etiquetas perfectas. Aquí mostramos algunas de las etiquetas que producimos. Estos son cuboides de vehículos con cinemática, profundidad, normales de superficie, segmentación. Pero Andrej puede nombrar una nueva tarea que quiera para la próxima semana, y podemos producir esto muy rápido porque ya tenemos el espacio vectorial y podemos escribir el código para producir estas etiquetas muy, muy rápido. Así que, ¿cuándo ayuda la simulación? Ayuda, primero, cuando los datos son difíciles de obtener. Por grande que sea nuestra flota, todavía puede ser difícil conseguir algunas escenas locas como esta pareja y su perro corriendo por la autopista, mientras hay otros autos a alta velocidad alrededor. Esta es una escena bastante rara, diría yo, pero aun así puede suceder. Y Autopilot todavía necesita manejarla cuando sucede. Cuando los datos son difíciles de etiquetar, hay cientos de personas cruzando la calle. Esto podría ser el centro de Manhattan, gente cruzando la calle. Va a tomar varias horas que los humanos etiqueten este clip. E incluso para los algoritmos de etiquetado automático, esto es realmente difícil de asociar correctamente. Y puede producir velocidades incorrectas. Pero en simulación, esto es trivial porque ya tienes los objetos. Solo tienes que generar los cuboides y las velocidades. Y también, finalmente, cuando introducimos un comportamiento de circuito cerrado donde el auto necesita estar en una situación determinante o los datos dependen de las acciones, esta es prácticamente la única manera de obtenerlo de forma confiable. Todo esto es genial. ¿Qué se necesita para que esto suceda? Primero, simulación precisa de sensores. De nuevo, el objetivo de la simulación no es solo producir imágenes bonitas. Necesita producir lo que verían la cámara y el auto, y lo que verían otros sensores. Así que aquí estamos recorriendo distintas configuraciones de exposición de la cámara real, a la izquierda, y de la simulación, a la derecha. Somos capaces de hacer coincidir casi por completo lo que hacen las cámaras reales. Para lograr esto, tuvimos que modelar muchas de las propiedades de la cámara en nuestra simulación de sensores, empezando por el ruido del sensor, el desenfoque de movimiento, las distorsiones ópticas, incluso las transmisiones de los faros, incluso los patrones de difracción del parabrisas, etcétera. No usamos esto solo para el software de Autopilot. También lo usamos para tomar decisiones de hardware, como el diseño de lentes, el diseño de cámaras, la ubicación de los sensores, incluso las propiedades de transmisión de los faros. Segundo, necesitamos renderizar las imágenes de forma realista. No se puede tener lo que en la industria de los videojuegos se llama dientes de sierra. Estos son artefactos de aliasing que delatan de inmediato que esto es una simulación. No los queremos. Así que pasamos por mucho trabajo para producir un buen antialiasing espaciotemporal. También estamos trabajando en técnicas de renderizado neuronal para hacer esto aún más realista.
Además, también usamos trazado de rayos para producir iluminación por trazado de rayos e iluminación global. Bien, creo que ese es el último de los autos de policía. Obviamente no podemos tener solo cuatro o cinco autos, porque la red se sobreajustaría fácilmente porque conocería los tamaños. Así que necesitamos tener activos realistas, como el alce en la carretera aquí. Tenemos miles de activos en nuestra biblioteca, y pueden llevar distintas apariencias y en realidad moverse de forma realista. Así que esto es realmente genial. También tenemos muchos lugares distintos mapeados y creados para armar estos entornos de simulación. De hecho, hemos construido 2.000 millas de carretera. Y esto es casi la longitud de la carretera desde la costa este hasta la costa oeste de Estados Unidos, lo cual creo que es bastante genial. Además, hemos construido herramientas eficientes para que un solo artista pueda construir varias millas más en un solo día. Pero esto es solo la punta del iceberg. En realidad. La mayoría de los datos que usamos para entrenar se crean de forma procedural usando algoritmos, en lugar de que artistas creen estos escenarios de simulación. Así que estas son todas carreteras creadas de forma procedural, con muchos parámetros como la curvatura, árboles variados, conos, postes, autos con distintas velocidades, y la interacción produce un flujo interminable de datos para la red. Pero muchos de estos datos pueden ser aburridos porque la red ya podría acertar sin problema. Así que lo que hacemos es usar también técnicas basadas en aprendizaje automático para básicamente perturbar la red, ver dónde está fallando, y crear más datos alrededor de los puntos de falla de la red. Así que esto es un circuito cerrado que intenta mejorar el rendimiento de la red. No queremos detenernos ahí. Así que en realidad queremos crear, recrear cualquier falla que le ocurra a Autopilot en simulación, para poder exigirle a Autopilot el mismo estándar a partir de entonces. Así que aquí, a la izquierda, están viendo un clip real que fue captado por un auto. Luego pasa por nuestra canalización de etiquetado automático para producir una reconstrucción 3D de la escena junto con todos los objetos en movimiento. Con esto, combinado con la información visual original, recreamos la misma escena de forma sintética y creamos un escenario de simulación completamente a partir de ella. Y luego, cuando reproducimos Autopilot sobre esto, Autopilot puede hacer cosas completamente nuevas, y podemos generar nuevos mundos, nuevos resultados a partir de la falla original. Esto es increíble porque realmente no queremos que Autopilot falle. Y cuando falla, queremos capturarlo y mantenerlo en ese estándar. No solo eso, en realidad podemos tomar el mismo enfoque que mencionamos antes y llevarlo un paso más allá. Podemos usar técnicas de renderizado neuronal para que se vea aún más realista. Así que tomamos el clip de video original, recreamos una simulación sintética a partir de él, y luego aplicamos técnicas de renderizado neuronal sobre eso. Y produce esto, que en mi opinión se ve increíble, porque esto es muy realista y se ve casi como si hubiera sido captado por las cámaras reales. Este es un resultado de anoche, porque era genial y queríamos presentarlo. Pero, sí, estoy muy emocionado por lo que la simulación puede lograr. Pero esto no es pura palabrería, porque las redes entrenadas en el auto ya usaron datos de simulación. Usamos 300 millones de imágenes con casi medio billón de etiquetas. Y queremos resolver a fondo todas las tareas que van a surgir durante los próximos meses. Con eso, invito a Milan a explicar cómo escalamos estas operaciones y realmente construimos una fábrica de etiquetas que genera millones de etiquetas.
Muy bien, gracias, Ashok. Hola a todos. Soy Milan. Soy responsable de la integración de nuestras redes neuronales en el auto y de la mayor parte de nuestra infraestructura de entrenamiento y evaluación de redes neuronales. Y esta noche quisiera empezar dándoles una idea de la cantidad de cómputo necesaria para alimentar este tipo de fábrica de generación de datos. Y así, en el contexto específico del esfuerzo por el que pasamos como equipo aquí hace unos meses para eliminar la dependencia del sensor de radar en Autopilot, generamos más de 10.000 millones de etiquetas a través de dos millones y medio de clips. Y para hacer eso, tuvimos que escalar nuestras enormes redes offline y nuestro motor de simulación a través de miles de GPU y poco menos de 20.000 núcleos de CPU. Además de eso, también incluimos más de 2.000 computadoras reales de conducción totalmente autónoma de Autopilot dentro del circuito junto con nuestro motor de simulación. Y ese es nuestro clúster de cómputo más pequeño. Así que quisiera darles una idea de lo que se necesita para tomar nuestras redes neuronales y pasarlas al auto. Y así las dos restricciones principales en las que trabajamos aquí son principalmente la latencia y la frecuencia de cuadros, que son muy importantes para la seguridad, pero también para obtener estimaciones correctas de la aceleración y velocidad de lo que nos rodea. Y así el meollo del problema realmente gira alrededor del compilador de IA que escribimos y extendemos aquí dentro del grupo, que esencialmente mapea las operaciones de cómputo de nuestro modelo de PyTorch a un conjunto de piezas de hardware dedicadas y acelerado. Y hacemos eso mientras calculamos un programa que está optimizado para el rendimiento mientras trabajamos bajo restricciones severas de SRAM. Y, por cierto, no hacemos eso solo en un motor, sino a través de dos motores en la computadora de Autopilot. Y la forma en que usamos esos motores aquí en Tesla es tal que, en cualquier momento dado, solo uno de ellos emitirá en realidad comandos de control al vehículo, mientras que el otro se usa como una extensión de cómputo. Pero esos roles son intercambiables, tanto a nivel de hardware como de software. Entonces, ¿cómo iteramos rápidamente juntos como grupo a través de estos ciclos de desarrollo de IA? Bueno, primero, hemos estado escalando dramáticamente nuestra capacidad para evaluar nuestro software y redes neuronales durante los últimos años. Y hoy estamos ejecutando quizás más de un millón de evaluaciones por semana, en cada cambio de código que produce el equipo. Y esas evaluaciones se ejecutan en más de 3.000 computadoras reales de conducción totalmente autónoma, conectadas entre sí en un clúster dedicado. Y además de esto, hemos estado desarrollando herramientas de depuración realmente geniales. Y así aquí hay un video de una de nuestras herramientas, que ayuda a los desarrolladores a iterar en el desarrollo de redes neuronales y comparar en vivo las salidas de distintas revisiones de un modelo de red neuronal, mientras se reitera en vivo a través de clips de video. Y, por último, pero no menos importante, hemos estado escalando dramáticamente nuestro cómputo de entrenamiento de redes neuronales durante los últimos años. Y hoy estamos apenas por debajo de 10.000 GPU, lo que, para darles una idea en cuanto a número de GPU, es más que los cinco superordenadores públicamente conocidos más potentes del mundo. Pero eso no es suficiente. Así que quisiera invitar a Ganesh a hablar sobre los siguientes pasos.
Gracias, Milan. Me llamo Ganesh y dirijo el Proyecto Dojo. Es un honor presentar este proyecto en nombre del equipo multidisciplinario de Tesla que está trabajando en él. Como vieron por Milan, hay una demanda insaciable de velocidad, así como de capacidad, para el entrenamiento de redes neuronales. Y Elon previó esto. Y hace unos años nos pidió diseñar una computadora de entrenamiento súper rápida. Y así fue como empezamos el Proyecto Dojo. Nuestro objetivo es lograr el mejor rendimiento de entrenamiento de IA y soportar todos estos modelos más grandes y más complejos que el equipo de Andrej está imaginando, y ser eficientes energéticamente y rentables al mismo tiempo. Así que pensamos en cómo construir esto, y llegamos a una arquitectura de cómputo distribuido. Al fin y al cabo, todas las computadoras de entrenamiento que existen son, de una forma u otra, computadoras distribuidas. Tienen elementos de cómputo en la caja aquí, conectados con algún tipo de red. En este caso es una red bidimensional, pero podría ser cualquier otro tipo de red. CPU, GPU, aceleradores, todos tienen cómputo, un poco de memoria y red. Pero una tendencia común entre ellos es que es fácil escalar el cómputo, es muy difícil escalar el ancho de banda, y es extremadamente difícil reducir las latencias. Y verán cómo nuestro punto de diseño se enfocó en eso, cómo nuestra filosofía abordó estos aspectos de los límites tradicionales. Para Dojo, imaginamos un gran plano de cómputo lleno de elementos de cómputo muy robustos, respaldados por un gran grupo de memoria e interconectados con un tejido de muy alto ancho de banda y baja latencia, en un formato de malla 2D. Y sobre esto, para escalar al extremo, las grandes redes neuronales se van a particionar y mapear para extraer distintos tipos de paralelismo: de modelo, de grafo, de datos. Y luego uno de nuestros compiladores neuronales va a explotar la localidad espacial y temporal, de modo que pueda reducir el tráfico de comunicación a zonas locales y reducir la comunicación global. Y si hacemos eso, la utilización de nuestro ancho de banda puede seguir escalando junto con el plano de cómputo que deseamos. Aquí quisimos atacar esto de arriba a abajo en toda la pila y eliminar cualquier cuello de botella en cualquiera de estos niveles. Y empecemos este recorrido de adentro hacia afuera, empezando por el chip. Como describí, los chips tienen elementos de cómputo. Nuestra entidad de escala más pequeña se llama nodo de entrenamiento. Y la elección de este nodo es muy importante para asegurar un escalamiento sin interrupciones. Si lo haces demasiado pequeño, va a correr rápido, pero los costos de sincronización y software van a dominar. Si lo haces demasiado grande, va a tener complejidades en la implementación, en el hardware real, y al final va a chocar con problemas de memoria. Cuellos de botella. Como queríamos abordar la latencia y el ancho de banda como nuestro punto de optimización principal. Veamos cómo hicimos esto. Lo que hicimos fue elegir la distancia más lejana que una señal podía recorrer en un ciclo de reloj muy, muy alto. En este caso, más de 2 gigahercios. Y dibujamos una caja alrededor de eso. Esta es la latencia más pequeña que una señal puede recorrer en un ciclo, a una frecuencia muy alta. Y luego llenamos la caja de cables hasta el límite. Este es el ancho de banda más alto con el que puedes alimentar la caja. Y luego agregamos cómputo de aprendizaje automático debajo, y después un gran grupo de SRAM. Y por último, pero no menos importante, un núcleo programable para controlar todo. Y esto nos dio nuestro nodo de entrenamiento de alto rendimiento. Lo que es esto es una CPU superescalar de 64 bits optimizada alrededor de unidades de multiplicación de matrices y SIMD vectorial. Soporta coma flotante de 32 bits, BFLOAT 16, y un nuevo formato, CFP8, de punto flotante de 8 bits configurable. Y está respaldado por un megabyte y cuarto de SRAM rápida con protección ECC, y el tejido de baja latencia y alto ancho de banda que diseñamos. Esta podría ser nuestra entidad de escala más pequeña, pero tiene un gran poder. Más de un teraflop de cómputo en nuestra entidad de escala más pequeña. Así que veamos la arquitectura de esto. Los arquitectos de computadoras aquí presentes tal vez reconozcan esto. Esta es una arquitectura bastante capaz en cuanto la ven. Es una CPU superescalar en orden, con vector de 4 vías y 2 vías. Canalizaciones escalares de 4 vías y vectoriales de 2 vías. La llamamos en orden. Aunque las canalizaciones vectorial y escalar pueden funcionar fuera de orden. Pero para los puristas por ahí, seguimos llamándola en orden. Y también tiene multihilo de cuatro vías. Esto aumenta la utilización porque podemos hacer cómputo y transferencias de datos simultáneamente. Y nuestro ISA personalizado, que es la arquitectura del conjunto de instrucciones, está completamente optimizado para cargas de trabajo de aprendizaje automático. Tiene características como transposición, recorridos de enlaces de recolección, difusión, solo para nombrar algunas. E incluso en el plano físico, lo hicimos extremadamente modular, de modo que pudiéramos empezar a unir estos nodos de entrenamiento en cualquier dirección y empezar a formar el plano de cómputo que imaginamos. Cuando unimos 354 de estos nodos de entrenamiento, obtenemos nuestra matriz de cómputo. Es capaz de entregar 300 teraflops de cómputo de aprendizaje automático. Y, por supuesto, el tejido de alto ancho de banda que los interconecta. Y alrededor de esta matriz de cómputo, la rodeamos con interfaces de alta velocidad y bajo consumo, 576 de ellas, para permitirnos tener un ancho de banda de entrada/salida extremo saliendo de este chip. Solo para darles un punto de comparación, esto es más del doble del ancho de banda que sale de los chips de switches de red de última generación que existen hoy en día. Y los chips de switches de red se supone que son el estándar de oro para el ancho de banda de entrada/salida. Si juntamos todo esto, obtenemos el chip optimizado para entrenamiento, nuestro chip D1. Este chip está fabricado en tecnología de 7 nanómetros. Empaqueta 50.000 millones de transistores en apenas 645 milímetros cuadrados. Algo que notarán es que el cien por ciento del área aquí está dedicada al aprendizaje automático, al entrenamiento y al ancho de banda. No hay silicio oscuro, no hay soporte heredado. Esta es una máquina puramente de aprendizaje automático. Y. Este es el chip D1 en un empaque BGA de tipo flip chip. Esto fue diseñado enteramente por el equipo interno de Tesla, desde la arquitectura hasta el GDS final y el empaquetado. Este chip tiene un cómputo a nivel de núcleo de GPU con la flexibilidad a nivel de CPU, y el doble del ancho de banda de entrada/salida de un chip de red. Si tuviera que graficar el ancho de banda de entrada/salida en la escala vertical frente a los teraflops de cómputo disponibles en los chips de aprendizaje automático de última generación que existen, incluyendo algunas startups, pueden ver fácilmente por qué nuestro punto de diseño sobresale por encima del resto. Ahora que teníamos este bloque fundamental de construcción física, ¿cómo diseñar el sistema alrededor de él? Veamos. Dado que los chips D1 pueden conectarse entre sí sin problemas y sin ningún pegamento, simplemente empezamos a juntarlos. Simplemente los pusimos juntos. 500.000 nodos de entrenamiento juntos para formar nuestro plano de cómputo. Son 1.500 chips D1 conectados entre sí sin interrupciones. Y luego agregamos procesadores de interfaz Dojo en cada extremo. Este es el puente anfitrión hacia los anfitriones típicos en los centros de datos. Está conectado con PCI Gen 4 en un lado, con un tejido de alto ancho de banda hacia nuestro plano de cómputo. Los procesadores de interfaz proveen no solo el puente anfitrión, sino también memoria DRAM compartida de alto ancho de banda para el plano de cómputo. Además, los procesadores de interfaz también nos permiten tener una conexión de red de mayor radix. Para lograr este plano de cómputo, tuvimos que inventar una nueva manera de integrar estos chips entre sí. Y esto es lo que llamamos una baldosa de entrenamiento. Esta es la unidad de escala para nuestro sistema. Esta es una integración revolucionaria de 25 dados D1 verificados en un proceso de oblea de fan-out, integrados estrechamente de modo que se preserve el ancho de banda entre ellos. El ancho de banda máximo se preserva ahí. Y además generamos un conector, un conector de alta densidad y alto ancho de banda, que preserva el ancho de banda que sale de esta baldosa de entrenamiento. Y esta baldosa nos da nueve petaflops de cómputo con un ancho de banda de entrada/salida masivo saliendo de ella. Esto es, quizás, el MCM orgánico más grande de la industria de chips. Módulo multichip. No fue fácil diseñar esto. No existían herramientas para hacerlo. Todas las herramientas se quedaban cortas. Ni siquiera nuestro clúster de cómputo podía manejarlo. Tuvimos que. Nuestros ingenieros encontraron distintas formas de resolver esto. Crearon nuevos métodos para hacer esto una realidad. Ahora que teníamos nuestra baldosa de plano de cómputo con entradas/salidas de alto ancho de banda, teníamos que alimentarla con energía. Y aquí inventamos una nueva manera de alimentar energía verticalmente. Creamos un módulo regulador de voltaje personalizado que podía soldarse por reflujo directamente sobre la oblea de fan-out. Así que lo que hicimos aquí fue tomar la tecnología a nivel de empaque de chip, y la tecnología de reflujo a nivel de PCB, y traerla a esta tecnología de oblea de fan-out. Esto ya es mucha integración aquí. Pero no nos detuvimos ahí. Integramos todo el entorno eléctrico, térmico y las piezas mecánicas aquí para formar nuestra baldosa de entrenamiento. Totalmente integrada, con una interfaz de entrada de 52 voltios de corriente continua. Es sin precedentes. Esta es una pieza increíble de ingeniería. Nuestro plano de cómputo es completamente ortogonal al suministro de energía y la refrigeración. Eso hace posibles los planos de cómputo de alto ancho de banda. Lo que es esto es una baldosa de entrenamiento de nueve petaflops. Esta se convierte en nuestra unidad de escala para nuestro sistema. Y esto es real. No puedo creer que esté sosteniendo nueve petaflops aquí. Y de hecho, la semana pasada obtuvimos nuestra primera baldosa de entrenamiento funcional. Y en una configuración de banco con refrigeración limitada, limitada, logramos hacer correr algunas redes. Y me dijeron que Andrej no iba a creer que podíamos hacer correr redes hasta que pudiéramos hacer correr una de sus creaciones. Andrej, esto es MinGPT2 corriendo en Dojo. ¿Lo crees? Lo siguiente, cómo formar un clúster de cómputo a partir de esto. Para ahora deben haberse dado cuenta de que nuestra historia de modularidad es bastante fuerte. Simplemente juntamos algunas baldosas. Simplemente unimos baldosas entre sí. Una bandeja de dos por tres baldosas forma nuestra matriz de entrenamiento. Y dos bandejas en un gabinete dan 100 petaflops de cómputo. ¿Nos detuvimos aquí? No, simplemente integramos todo sin interrupciones. Rompimos las paredes del gabinete. Integramos estas baldosas sin interrupciones de principio a fin, preservando el ancho de banda. No hay caída de ancho de banda aquí. No hay precipicios de ancho de banda. Todas las baldosas están conectadas sin interrupciones, con el mismo ancho de banda. Y con esto. Tenemos un exapod. Esto es un exaflop de computadora en 10 gabinetes. Son más de un millón de nodos de entrenamiento que vieron. Prestamos muchísima atención a ese nodo de entrenamiento. Y hay 1 millón de nodos aquí con ancho de banda uniforme, no solo el hardware. Los aspectos de software son tan importantes para asegurar el escalamiento. Y no todas las tareas requieren un clúster enorme. Así que planificamos esto desde el principio. Nuestro plano de cómputo puede subdividirse, puede particionarse en unidades llamadas unidades de procesamiento Dojo. Una DPU consiste en uno o más chips D1. También tiene nuestro procesador de interfaz y uno o más anfitriones. Y esto puede escalarse hacia arriba o hacia abajo según las necesidades de cualquier algoritmo, cualquier red que corra en él. ¿Qué tiene que hacer el usuario? Tienen que cambiar sus scripts mínimamente. Y esto es gracias a nuestra sólida suite de compiladores. Se encarga del paralelismo de grano fino y de mapear de manera muy eficiente las redes neuronales a nuestro plano de cómputo. Nuestro compilador usa múltiples técnicas para extraer paralelismo. Puede transformar las redes para lograr no solo paralelismo de grano fino usando técnicas de paralelismo de datos, modelo y grafo. También puede hacer optimizaciones para reducir el uso de memoria. Algo que, gracias a la naturaleza de alto ancho de banda del tejido que habilitamos aquí, es que el paralelismo de modelo no podría haberse extendido al mismo nivel que nosotros podemos. Estaba limitado a los límites del chip. Ahora podemos, gracias a nuestro alto ancho de banda, extenderlo a baldosas de entrenamiento y más allá. Así, las redes grandes se pueden mapear eficientemente aquí con tamaños de lote pequeños, y extraer utilización y nuevos niveles de rendimiento. Además, nuestro compilador es capaz de manejar flujos de control dinámicos de alto nivel, como bucles, if-then-else, etcétera. Y nuestro motor de compilación es solo una parte de toda nuestra suite de software. La pila consiste en una extensión de PyTorch que asegura las mismas interfaces a nivel de usuario a las que los científicos de aprendizaje automático están acostumbrados. Y nuestro compilador genera código sobre la marcha, de modo que pueda reutilizarse para ejecuciones posteriores. Tiene un backend de LLVM que genera el binario para el hardware. Y esto asegura que podamos crear código optimizado para el hardware sin depender siquiera de una sola línea de kernel escrito a mano. Nuestra pila de controladores se encarga de la multiparticionamiento multianfitrión que vieron hace algunas diapositivas. Y también tenemos perfiladores y depuradores en nuestra pila de software. Así que, con todo esto, integramos de forma vertical. Rompimos las barreras tradicionales para escalar, y así es como logramos modularidad de arriba a abajo en la pila, para alcanzar nuevos niveles de rendimiento. Para resumir todo, esto es lo que será. Será la computadora de entrenamiento de IA más rápida, con 4 veces el rendimiento al mismo costo, 1,3 veces mejor rendimiento por vatio, lo que supone ahorro de energía, y una huella 5 veces más pequeña. Esto será la computadora Dojo. No hemos terminado. Vamos a ensamblar nuestros primeros gabinetes muy pronto, y ya tenemos todo un plan para la siguiente generación. Estamos pensando en 10 veces más, con distintos aspectos que podemos mejorar, de nuevo desde el silicio hasta el sistema. Vamos a recorrer este camino de nuevo. Estamos reclutando intensamente para todas estas áreas. Muchas gracias. Y a continuación, Elon nos va a contar qué hay más allá de nuestra flota de vehículos en materia de IA.
Ra. Gracias. A diferencia de Dojo, obviamente, eso no era real. Así que Dojo es real, el Tesla Bot será real. Pero básicamente, si piensan en lo que estamos haciendo ahora con los autos, Tesla es, podría decirse, la empresa de robótica más grande del mundo, porque nuestros autos son como robots semiinteligentes sobre ruedas, con la computadora de conducción totalmente autónoma, básicamente el motor de inferencia en el auto, que obviamente va a seguir evolucionando. Y Dojo y todas las redes neuronales que reconocen el mundo, que entienden cómo navegar a través del mundo, tiene sentido ponerlo en una forma humanoide. Y también somos bastante buenos con sensores, baterías y actuadores. Así que creemos que probablemente tendremos un prototipo en algún momento del próximo año que básicamente se verá así. Y está pensado para ser amigable, por supuesto, y navegar por un mundo construido para humanos, y eliminar tareas peligrosas, repetitivas y aburridas. Lo estamos diseñando de tal manera que, a nivel mecánico, a nivel físico, puedas correr para alejarte de él y muy probablemente puedas dominarlo por la fuerza. Así que esperemos que eso nunca pase, pero nunca se sabe. Así que va a ser, ya saben, ligero. Ligero, sí. En fin, cinco millas por hora. Si pueden correr más rápido que eso, estarán bien. Así que, sí, mide alrededor de cinco pies con ocho pulgadas, tiene una especie de pantalla donde está la cabeza para mostrar información útil, pero por lo demás básicamente tiene el sistema de Autopilot dentro. Así que tiene cámaras, ocho cámaras, y sí, la computadora de conducción totalmente autónoma, y usa todas las mismas herramientas que usamos en el auto. Así que, quiero decir, creo que las cosas que son realmente difíciles para tener un robot humanoide útil es que no puede navegar por el mundo sin ser entrenado explícitamente. Es decir, sin instrucciones explícitas, línea por línea. ¿Pueden, pueden hablarle y decirle, ya saben, por favor recoge ese perno y fíjalo al auto con esa llave, y debería poder hacerlo. Debería poder, ya saben, por favor, por favor ve a la tienda y tráeme los siguientes víveres, ese tipo de cosas. Así que sí, creo que podemos hacer eso. Y sí, creo que esto va a ser bastante, bastante profundo, porque si dicen, ¿qué es la economía? En su base, es trabajo. Entonces, ¿qué pasa cuando, ya saben, no hay escasez de mano de obra? Por eso creo que a largo plazo va a ser necesaria una renta básica universal. Sí. Pero no ahora mismo, porque este robot no funciona. Así que solo necesitamos un momento. Así que. Sí, pero creo que básicamente en el futuro el trabajo físico va a ser una elección. Si quieren hacerlo, pueden, pero no van a necesitar hacerlo. Y sí, creo que obviamente tiene implicaciones profundas para la economía, porque dado que la economía, en su nivel fundamental, es trabajo, es decir, el capital es capital, el equipo es solo trabajo destilado, entonces, ¿hay algún límite real para la economía? Tal vez no. Así que, sí, únanse a nuestro equipo y ayuden a construir esto. Muy bien, así que creo que vamos a hacer que todos vuelvan al escenario, y pueden hacer preguntas si quieren. Sí, Sam. Muy bien, genial. Vuelvan al escenario. Solo quiero intentar conseguir el ángulo de cámara desde ahí, no desde el lado. Muy bien, genial. Así que probablemente volvamos a encender las luces y. Sí, genial. Así que estamos felices de responder cualquier pregunta que tengan sobre cualquier cosa, del lado del software, del hardware, hacia dónde van las cosas, y sí, adelante. Porque las luces son como luces de interrogatorio. En realidad no podemos ver. Ah, ahí está. Genial. Muy bien, genial. Puedo solo.
Audience
Bien, ahí vamos. Primero, quiero decir, gracias a todos los presentadores. Fue realmente genial ver todo esto. Tengo curiosidad, a un nivel general, y esta es una pregunta para cualquiera que quiera responderla. ¿En qué medida les interesa publicar o hacer de código abierto algo de lo que hacen para el futuro?
Bueno, quiero decir que es fundamentalmente extremadamente caro crear el sistema, así que de alguna manera eso tiene que pagarse. No estoy seguro de cómo pagarlo. Si es completamente de código abierto. Sí, a menos que la gente quiera trabajar gratis. Pero debería decir que, si otras empresas de autos quieren licenciarlo y usarlo en sus autos, eso sería genial. Esto no está pensado para limitarse solo a los autos de Tesla,
Audience
es para la supercomputadora Dojo. ¿Así que resolvieron el problema del compilador para escalar a tantos nodos, o... O si está resuelto, ¿solo se aplica a Dojo? Porque estoy haciendo investigación en aceleradores de aprendizaje profundo, y lograr la escalabilidad correcta, o incluso la distribución dentro de un solo chip, es extremadamente difícil desde la perspectiva de los proyectos de investigación. Así que tenía curiosidad.
Disculpa, el micrófono para Bill.
Bill (Dojo engineer)
¿Hemos resuelto el problema? Todavía no. ¿Confiamos en que lo resolveremos? Sí, hemos demostrado redes en hardware de prototipo. Ahora tenemos modelos, modelos de rendimiento, que muestran el escalamiento. La dificultad es, como dijiste, cómo mantenemos las localidades; si podemos hacer suficiente paralelismo de modelo, suficiente paralelismo de datos, para mantener la mayoría de las cosas locales, simplemente seguimos escalando. Tenemos que hacer que los parámetros encajen en nuestro conjunto de trabajo. En nuestra SRAM que tenemos, y los hacemos fluir por la tubería. Hay muchas oportunidades.
Bill (Dojo engineer)
A medida que avanzamos en la escala, con más nodos de procesador que tienen más memoria local, compensaciones de memoria por ancho de banda, podemos hacer más cosas. Pero tal como lo vemos ahora, las aplicaciones que tiene Tesla, vemos un camino claro, y nuestra historia de modularidad significa, significa que podemos tener distintas proporciones, distintos aspectos creados a partir de ella. Quiero decir, esto es algo que elegimos para nuestras aplicaciones internamente.
Audience
Seguro, una parte de ello. Dado que el entrenamiento es una aplicación con un escalamiento tan sensible, aunque tengas todo este cómputo y tengas una interconexión de alto ancho de banda, alto ancho de banda, no podría darte ese rendimiento porque estás haciendo cálculos con memoria limitada en distintas ubicaciones. Así que me causa mucha curiosidad cuando dijiste que estaba resuelto, porque simplemente salté sobre la oportunidad. Me encantaría saber más, dado cuánto pueden hacer de código abierto ahí. Sí, sí.
Supongo que la prueba está en el pastel. Así que deberíamos tener Dojo operativo el próximo año, y creo que obviamente lo vamos a usar para entrenamiento, entrenamiento de video. Quiero decir, fundamentalmente esto se trata de, como, la aplicación principal inicialmente es que tenemos cantidades enormes de video, y cómo entrenamos cantidades enormes de video tan eficientemente como sea posible, y también reducir la cantidad de tiempo. Como, si están tratando de entrenar para una tarea, en general la innovación tiene que ver con cuántas iteraciones y cuál es el progreso promedio entre cada iteración. Y entonces, si pueden reducir el tiempo entre iteraciones, la tasa de mejora es mucho mejor. Así que, ya saben, si a veces toma un par de días para que un modelo se entrene en lugar de un par de horas, eso es una gran diferencia. Pero la prueba de fuego aquí, y ya saben lo que le he dicho al equipo de Dojo, es que es exitoso si el equipo de software quiere apagar el clúster de GPU, pero si quieren mantener el clúster de GPU encendido, no es exitoso.
Audience
Hola, aquí mismo. Me encantó la presentación. Gracias por traernos aquí. Me encantó todo, especialmente la parte de simulación de la presentación. Me preguntaba, se ve muy, muy, muy realista. ¿Hay algún plan para quizás expandir la simulación a otras partes de la empresa de alguna manera? Mike también. Hola, soy Inglo, dirijo el equipo de simulación de Autopilot. Así que a medida que avanzamos en el camino hacia la conducción totalmente autónoma, vamos a tener que simular más y más partes del vehículo. Actualmente estamos simulando la dinámica del vehículo, pero vamos a necesitar el BMS, vamos a necesitar la MCU, vamos a necesitar integrar cada una de las partes del vehículo, y eso en realidad hace que el simulador de Autopilot sea realmente útil para lugares fuera de Autopilot. Así que quiero expandir, o queremos expandir eventualmente, para que sea una plataforma de simulación universal. Pero creo que antes de eso vamos a estar impulsando mucho el soporte de Optimus y luego. Y un poco más adelante, tenemos algunas ideas generales sobre cómo potencialmente llevar la infraestructura de simulación y algunas de las cosas geniales que hemos construido a manos de personas fuera de la empresa.
Optimus es el nombre en código del Tesla Bot. Ups. Optimus. ¿Brian?
Audience
Sí, hola, soy Ali Jahanian. Gracias por la gran presentación y por juntar todas estas cosas geniales. Sí, desde hace un tiempo he estado pensando que el auto ya es un robot, así que por qué no un humano. Es un robot. Y estoy muy feliz de que hoy hayan mencionado que van a construir algo así. En especial, creo que esto puede dar la oportunidad de juntar distintas modalidades. Por ejemplo, sabemos que en el ejemplo que mostraron había un perro y algunos pasajeros corriendo juntos; el procesamiento de lenguaje y simbólico realmente puede ayudar a visualizar eso. Así que me preguntaba si podría escuchar un poco más sobre este tipo de combinación de modalidades, incluyendo lenguaje y visión, porque he estado trabajando, por ejemplo, con muchos modelos tipo GPT y lo que Andrej ha publicado. Y sí, no escuché mucho sobre otras modalidades que entren en el auto, o al menos en la simulación. ¿Hay algún comentario que puedan darnos?
Bueno, conducir es fundamentalmente, básicamente, casi por completo redes neuronales de visión. Básicamente, corre sobre una red neuronal de visión biológica. Y lo que estamos haciendo aquí es una red neuronal de cámara en silicio. Así que hay algo de audio que quieres escuchar, si hay, por ejemplo, vehículos de emergencia, o, ya saben, supongo, conversar con las personas en el auto. Ya saben, si alguien le está gritando algo al auto, el auto necesita entender qué es eso. Así que, ya saben, todas las cosas que son necesarias para que sea completamente autónomo. Sí, gracias.
Audience
Hola, gracias por todo el gran trabajo que mostraron. Mi pregunta es para el equipo, porque los datos que se mostraron parecen ser predominantemente de Estados Unidos, que es donde se está entrenando la computadora FSD. Pero a medida que se va implementando en distintos países, que tienen su propio sistema de carreteras y los desafíos que eso conlleva. ¿Cómo creen que esto va a escalar? Como, supongo que empezar desde cero no es una solución muy viable. Entonces, ¿cómo se transfiere esto a distintos países?
Bueno, hay. En realidad entrenamos usando datos de probablemente unos 50 países distintos, pero tenemos que elegir, ya saben, mientras intentamos avanzar con la conducción totalmente autónoma, necesitamos elegir, elegir un país. Y como estamos ubicados aquí, elegimos Estados Unidos, y luego recibimos muchas preguntas como por qué no al menos Canadá. Bueno, porque las carreteras son un poco distintas en Canadá. Suficientemente distintas. Y entonces, al intentar resolver un problema difícil, uno quiere decir, bien, no agreguemos complejidad adicional ahora mismo, resolvámoslo para Estados Unidos y luego extrapolaremos al resto del mundo. Pero sí usamos video de todo el mundo.
Sí, creo que mucho, mucho de lo que estamos construyendo es, en el fondo, bastante independiente del país, todos los componentes de visión por computadora, etcétera. No les importa demasiado tener características específicas de cada país. Ya saben, distintos países tienen carreteras, tienen cunetas, tienen autos, y todo lo que estamos construyendo es bastante general para eso.
Y luego la directriz principal es no chocar.
Correcto. Y eso es cierto para todos los países.
Sí. Así que esa es la directriz principal. Y ya ahora mismo el auto es bastante bueno en no chocar. Y entonces básicamente, sea lo que sea, no lo golpees. Incluso si es un OVNI que aterrizó de emergencia en la autopista, igual no lo golpees; no debería ser necesario reconocer qué es para no golpearlo. Eso es muy importante.
Audience
Paciente. Y quiero preguntar, cuando hacen el proceso fotométrico, geometría multivista, ¿cuánto error ven? ¿Es como 1 milímetro, 1 centímetro? Así que solo, si no es confidencial,
disculpa, ¿cuál es, cuál es, cuál es
Audience
la diferencia entre lo sintético,
Audience
la diferencia entre la geometría creada sintéticamente y la geometría real?
Sí, usualmente está dentro de un par de centímetros, tres o cuatro centímetros, esa es la desviación estándar.
Audience
Con distintos tipos de modalidades para reducir ese error.
Principalmente intentamos encontrar formas escalables de etiquetar. En algunas ocasiones usamos otros sensores para ayudar a comparar, pero principalmente intentamos usar cámaras para este sistema.
Sí, quiero decir, creo que queremos apuntar a que el auto esté posicionado con precisión a nivel de, digamos, centímetros, ya saben, algo de ese orden.
Obviamente va a depender de la distancia. Las cosas cercanas tienden a ser mucho más precisas que las cosas más lejanas, y esas importarían menos porque el auto no tiene que tomar decisiones mucho más lejos. Y a medida que se acerca, se vuelve cada vez más preciso.
Audience
Exactamente. Muchas preguntas. Gracias a todos. Mi pregunta tiene que ver con la IA y la fabricación. Ha pasado un tiempo desde que escuchamos sobre el concepto de acorazado alienígena. ¿El humanoide que está detrás de ustedes es...? ¿Es eso, de alguna manera, algo que sale de esa línea de tiempo del 'infierno de producción', diciendo que los humanos están subestimados en ese proceso?
Bueno, a veces, ya saben, algo que digo se lleva a un extremo excesivo. Hay partes del sistema de Tesla que están casi completamente automatizadas, y luego hay algunas partes que son casi completamente manuales. Y si recorrieran todo el sistema de producción, verían un rango muy amplio, desde, sí, como dije, completamente automático hasta casi completamente manual. Pero la gran mayoría, la mayor parte, ya está automatizada. Y entonces, con algunos de los cambios en la arquitectura de diseño, como pasar a grandes componentes fundidos a alta presión en aluminio, podemos tomar todo el tercio trasero del auto y fundirlo como una sola pieza. Y ahora vamos a hacer el tercio delantero del auto como una sola pieza. Así que la línea de carrocería se reduce en tamaño como un 60 a 70%. Pero sí, el robot no está motivado específicamente por necesidades de fabricación. Es solo que obviamente estamos fabricando las piezas necesarias para un robot humanoide útil. Así que supongo que probablemente deberíamos construirlo, y si no lo hacemos, alguien más lo haría. Así que supongo que deberíamos construirlo y asegurarnos de que sea seguro. Debería decir también que la fabricación, la fabricación en volumen, es extremadamente difícil y se subestima, y nos hemos vuelto bastante buenos en eso. También es importante para ese robot humanoide. Por ejemplo, ¿cómo logran que el robot humanoide no sea súper costoso? Y
Audience
hola, gracias por la presentación. Y mi pregunta será sobre el escalamiento de Dojo, y en particular cómo escalan los nodos de cómputo en términos de térmica y entrega de energía, porque solo se puede disipar cierta cantidad de calor y solo se puede llevar cierta cantidad de energía a, digamos, un rack de clúster. ¿Y cómo planean escalarlo, y cómo planean escalarlo en múltiples centros de datos?
Bill (Dojo engineer)
Hola, soy Bill, soy uno de los ingenieros de Dojo. Así que desde el punto de vista térmico y de energía, lo diseñamos de forma muy modular. Así que lo que vieron en la baldosa de cómputo, eso va a enfriar toda la baldosa. Así que una vez que la conectamos, se enfría con líquido tanto por arriba como por abajo. No necesita nada más. Y entonces, cuando hablamos de unir estas piezas, una vez que la conectamos a la energía y una vez que la conectamos a la refrigeración, estará completamente energizada y completamente refrigerada, y todo eso ocupa menos de un pie cúbico. Sí. Así que Tesla tiene mucha experiencia en electrónica de potencia y en refrigeración. Así que tomamos la experiencia en electrónica de potencia del tren motriz del vehículo, y el tipo de refrigeración avanzada que desarrollamos para la electrónica de potencia y para el vehículo, y la aplicamos a la supercomputadora. Porque, como señalas, sacar el calor es extremadamente importante. Es simplemente muy limitado por el calor. Así que siempre es curioso que, a nivel de cómputo, opera a menos de un voltio, que es un voltaje muy bajo. Hay muchos amperios. Así que, por lo tanto, mucho calor; I al cuadrado por R es lo que realmente te complica las cosas.
Audience
Hola. Mi pregunta también es realmente una pregunta de escalamiento. Así que parece una consecuencia natural de usar hardware de entrenamiento significativamente más rápido que uno estaría entrenando modelos con muchos más datos, o estaría entrenando modelos mucho más complejos, que serían potencialmente mucho más costosos de ejecutar en el momento de la inferencia en los autos. Supongo que me preguntaba si había un plan para también aplicar Dojo como algo que usarían, por ejemplo, en los autos de conducción autónoma. Y si es así, ¿ya saben, prevén desafíos adicionales ahí?
Puedo. Así que, como pudieron ver, los modelos de Andrej no son solo para los autos. Hay modelos de etiquetado automático, hay otros modelos que están, digamos, más allá de la aplicación del auto, pero que alimentan la pila del auto. Así que. Así que Dojo se usará también para todos esos, no solo para la parte de inferencia del auto en el entrenamiento.
Sí, quiero decir, la primera aplicación de Dojo será consumir datos de video para entrenamiento, que luego se ejecutaría en el motor de inferencia en el auto. Pero, y creo que eso es una prueba importante para ver si realmente es bueno, o si realmente es mejor que un clúster de GPU o no. Pero más allá de eso, es básicamente una computadora de entrenamiento de redes neuronales generalizada. Pero está muy optimizada para ser una red neuronal. Así que, ya saben, las CPU y las GPU, ellas, eran, no están hechas para eso, no, no fueron diseñadas específicamente para entrenar redes neuronales. Hemos logrado hacer que las GPU sean especialmente muy eficientes para entrenar redes neuronales. Pero eso no era, nunca fue su propósito de diseño. Así que básicamente las GPU todavía están operando esencialmente en modo de entrenamiento y emulación de redes neuronales. Así que con Dojo estamos diciendo, bien, hagamos de esto un ASIC completo. Hagamos esta cosa que está construida para un solo propósito, y ese propósito es el entrenamiento de redes neuronales. Y, en general, cualquier sistema que esté diseñado para un propósito específico va a ser mejor que uno diseñado para un propósito general.
Audience
Oigan, tengo una pregunta aquí. Hola. Así que describieron dos sistemas separados, uno de nuestra visión, digamos, planificador y control. ¿Dojo les permite entrenar redes que cruzan ese límite? Y la segunda cosa es, si pudieran entrenar esas redes, ¿tendrían la capacidad de cómputo a bordo en el sistema FSD para poder ejecutar eso bajo sus estrictas restricciones de latencia? Gracias.
Sí, creo que deberíamos poder entrenar redes arbitrarias en Dojo o en cualquier GPU. En realidad es invariante a la plataforma, y creo que, si acaso, una vez que hagamos todo esto de extremo a extremo, sería más eficiente que decodificar todos estos estados intermedios. Así que deberían poder correr más rápido si hacen todo de extremo a extremo. Redes neuronales, podemos evitar mucha decodificación de estados intermedios y solo decodificar las cosas esenciales necesarias para conducir el auto.
Sí, claro, de extremo a extremo. Este es el principio rector detrás de muchos de los desarrollos de la red. Y con el tiempo, en la pila, las redes neuronales han ido asumiendo más y más funcionalidad. Y entonces queremos que todo se entrene de extremo a extremo porque vemos que eso funciona mejor, pero lo estamos construyendo de forma incremental. Así que ahora mismo la interfaz ahí es el espacio vectorial, y lo estamos consumiendo en el planificador. Pero nada realmente impide fundamentalmente que, de hecho, se puedan tomar características y eventualmente hacer un ajuste fino de extremo a extremo. Así que creo que ahí es definitivamente hacia donde se dirige esto.
Y el descubrimiento realmente es, cuáles son las arquitecturas correctas que necesitamos colocar en los bloques de red para que sea adecuado para esa tarea. Así que, como describimos, podemos colocar RNN espaciales para ayudar con el problema de percepción. Y ahora es solo una red neuronal. Así que, de forma similar, para la planificación, necesitamos incorporar la optimización de búsqueda en la planificación, dentro de la arquitectura de la red. Y una vez que hagamos eso, deberían poder hacer la planificación muy rápido, de forma similar a los algoritmos en C.
Audience
Bien, creo que tenía una pregunta muy similar a la que él estaba haciendo. Parece que hay muchas redes neuronales alrededor de la visión por computadora y la planificación más tradicional. Tenían control predictivo basado en modelo y resolvían problemas de optimización convexa muy rápidamente. Y me pregunto si hay una arquitectura de cómputo más adecuada para la optimización convexa o para resolver muy rápidamente las soluciones de control predictivo basado en modelo.
Sí, al cien por ciento. Si quieren incorporar, como dije antes, si quieren incorporar estas arquitecturas que hacen, digamos, control predictivo basado en modelo, pero simplemente reemplazando algunos de los bloques con redes neuronales, o si conocemos la física de esto, también podemos usar modelos basados en física como parte de las redes neuronales para nuestra propia trayectoria. Así que vamos a avanzar hacia un sistema híbrido, donde tendremos bloques de red neuronal colocados junto con bloques basados en física, y más redes neuronales más adelante. Así que será una pila híbrida, y lo que sabemos hacer bien lo colocamos explícitamente, y donde las redes son mejores, usamos las redes para optimizar esto. Así que construir una pila de extremo a extremo con esta arquitectura incorporada.
Sí creo que, siempre que tengas redes neuronales de video envolvente para entender lo que está pasando y puedas convertir el video envolvente en espacio vectorial, entonces básicamente tienes un videojuego. Y si, ya saben, si ustedes. Es como si estuvieran en Grand Theft Auto, donde sea, pueden hacer que los autos conduzcan por ahí y los peatones caminen por ahí sin chocar. Así que pueden hacer. No es necesario tener una red neuronal para el control y la planificación, pero probablemente, en última instancia, sea mejor. Así que. Pero creo que probablemente pueden llegar, de hecho estoy seguro de que pueden llegar a ser mucho más seguros que un humano con control y planificación principalmente en C, con percepción, visión y redes neuronales.
Audience
Hola, mi pregunta es: hemos visto que otras empresas, por ejemplo, usan aprendizaje por refuerzo y aprendizaje automático para optimizar el consumo de energía en centros de datos y todo tipo de otros procesos internos. Mi pregunta es, ¿está Tesla usando aprendizaje automático dentro de su diseño de fabricación o en otros procesos de ingeniería?
Yo desalentaría el uso de aprendizaje automático porque es realmente difícil. A menos que básicamente, a menos que tengan que usar aprendizaje automático, no lo hagan. Usualmente es una señal de alarma cuando alguien dice que quiere usar aprendizaje automático para resolver esta táctica. Pienso, eso suena a tontería. Así que el 99,9% de las veces no lo necesitas. Así que sí, es como que recurres al aprendizaje automático cuando lo necesitas, pero no lo he encontrado como algo conveniente o fácil de hacer. Es algo súper difícil de hacer. Eso podría cambiar si tienen un robot humanoide que pueda, ya saben, entender instrucciones normales. Pero sí, en general, minimicen el uso del aprendizaje automático en la fábrica.
Audience
Hola. Basándome en sus videos del simulador, parecía una combinación de enfoques gráficos y neuronales. Tengo curiosidad sobre el conjunto de técnicas subyacentes que se usan para su simulador, y específicamente para el renderizado neuronal.
Tesla engineer
Si pueden compartirlo. Sí, así que en la parte inferior de la pila estamos haciendo. Son solo técnicas tradicionales de videojuegos, solo rasterización en tiempo real, ya saben, muy similar a lo que habrían visto, como en GTA. Encima de eso estamos haciendo trazado de rayos en tiempo real. Y esos resultados eran realmente recientes. Quiero decir, tenemos ese pequeño asterisco al final que indica que eso fue de anoche. Estamos entrando en el espacio del renderizado neuronal. Estamos probando un montón de cosas distintas. Queremos llegar al punto en que el renderizado neuronal sea la cereza del pastel. Eso lo lleva al punto en que los modelos nunca podrán sobreajustarse a nuestro simulador. Actualmente estamos haciendo cosas similares a la mejora del fotorrealismo. Hay un artículo, un artículo reciente, de mejora del fotorrealismo, Photorealism Enhancement. Pero podemos hacer mucho más de lo que ellos pudieron hacer en ese artículo, porque tenemos muchísimos más datos etiquetados, muchísimo más cómputo, y también mucho más. Tenemos mucho más control sobre los entornos, y también tenemos mucha gente que puede ayudarnos a hacer que esto corra en tiempo real. Pero vamos a intentar todo lo que podamos para llegar al punto en que podamos entrenar todo solo con el simulador si tuviéramos que hacerlo, pero nunca vamos a tener que hacerlo porque tenemos tantos datos del mundo real que nadie más tiene. Es solo para llenar los pequeños huecos del mundo real.
Sí, quiero decir, el simulador es muy útil cuando hay, digamos, estos casos raros, como, ya saben, la evitación de colisiones justo antes de un accidente. Y entonces, irónicamente, cuanto mejores se vuelven nuestros autos en evitar accidentes, menos accidentes hay. Así que entonces nuestro conjunto de entrenamiento es pequeño. Así que entonces tenemos que hacer que choquen en la simulación. Así que es como, bien, minimizar la lesión potencial a los peatones y a las personas en el auto. Tienen cinco metros, están viajando a, ya saben, 20 metros por segundo. ¿Qué acciones minimizarían la probabilidad de lesión? Podemos correr eso en alguna. Autos conduciendo por el lado equivocado de la autopista. Ese tipo de cosa pasa de vez en cuando, pero no tan a menudo.
Audience
Para su contexto humanoide, me pregunto si ya decidieron en qué casos de uso van a empezar y cuáles son los grandes desafíos en ese contexto para hacerlo viable.
Bueno, creo que para el humanoide, para el Tesla Bot Optimus, básicamente va a empezar simplemente ocupándose de trabajo que es aburrido, repetitivo y peligroso. Básicamente, ¿cuál es el trabajo que menos le gustaría hacer a la gente?
Audience
Hola. Así que una pregunta rápida sobre sus simulaciones. Obviamente no son perfectas en este momento, así que, ¿están usando algún tipo de técnica de adaptación de dominio para básicamente cerrar la brecha entre sus datos simulados y sus datos reales del mundo real? Porque imagino que es un poco peligroso simplemente desplegar modelos que están entrenados únicamente con datos simulados. Así que tal vez algún tipo de adaptación de dominio explícita o algo así. ¿Está pasando eso en algún lugar de su proceso?
Tesla engineer
Así que actualmente, quiero decir, estamos produciendo los videos directamente desde el simulador. Los clips completos de cinemática y todo, y luego simplemente entrenamos inmediatamente con ellos. Pero no es todo el conjunto de datos. Es solo un segmento pequeño y específico, y solo evaluamos basándonos en video del mundo real. Estamos prestando mucha atención para asegurarnos de no sobreajustar. Y si tenemos que empezar a hacer cosas más elaboradas, lo haremos. Pero actualmente no tenemos un problema con que se sobreajuste al simulador. Lo tendremos a medida que escalemos los datos, y eso es lo que esperamos usar, el renderizado neuronal, para cerrar esa brecha y empujarla aún más lejos. Ya hemos hecho cosas donde usamos las mismas redes que están en el auto, pero las reentrenamos para detectar simulación versus realidad, para guiar nuestras decisiones artísticas. Y eso en realidad también ha ayudado a prevenir algunas de estas cosas.
Sí. Solo para enfatizar que, abrumadoramente, el conjunto de datos es el video real de los autos en la carretera real. Nada es más extraño ni tiene más casos límite que la realidad. Se pone realmente extraño ahí afuera. Pero luego, si encontramos, digamos, algunos ejemplos de algo muy raro, y hay algunas imágenes muy raras que hemos visto, entonces, para entrenarlo de forma efectiva, queremos crear simulaciones, digamos 1.000 simulaciones que sean variantes de esa cosa peculiar que vimos, para llenar algunos huecos importantes y mejorar el sistema. Y realmente todo esto se trata, con el tiempo, simplemente de reducir la probabilidad de un choque o una lesión. Y la marcha de los nueves, como, ¿cómo llegan al 99,99999999% de seguridad? Ya saben, y eso. Sí, cada nueve es un aumento de dificultad de un orden de magnitud.
Audience
Muchas gracias por la presentación. Tenía curiosidad específicamente sobre el Tesla Bot. Me pregunto si hay alguna aplicación específica a la que crean que se presta particularmente bien la forma humanoide. Y en segundo lugar, debido a su forma humana, ¿se ha pensado en absoluto en la emoción o en la compañía como componente en la hoja de ruta del producto?
Ciertamente esperamos que esto no termine apareciendo en una película de ciencia ficción distópica. Pero, ya saben, en este punto realmente estamos diciendo que tal vez este robot simplemente pueda. Estamos intentando, estamos intentando ser lo más literales posible. ¿Puede hacer trabajos aburridos, peligrosos y repetitivos que la gente no quiere hacer? Y, ya saben, una vez que puedan hacer que haga eso, entonces tal vez también pueda hacer otras cosas. Pero eso es, eso es lo que sería realmente genial tener. Así que también podría ser tu amigo. Quiero decir, comprar uno y que sea tu amigo y, y lo que sea. Estoy seguro de que la gente va a pensar en algunos usos muy creativos.
Audience
Así que. Primero, gracias por la presentación realmente increíble. Mi pregunta es del lado de la IA. Así que una cosa que hemos estado viendo es que con algunas de estas IA de modelado de lenguaje, hemos visto que escalar ha tenido impactos increíbles en sus capacidades y en lo que son capaces de hacer. Así que me pregunto si están viendo tipos similares de efectos del escalamiento en sus redes neuronales y sus aplicaciones. Absolutamente. Una red más grande, típicamente vemos que funciona mejor, siempre que también tengan los datos para entrenarla. Y esto también es lo que vemos nosotros mismos, definitivamente, en el auto. Tenemos que tener en cuenta algunas consideraciones de latencia. Y entonces ahí tenemos que ser creativos para realmente desplegar redes mucho, mucho más grandes. Pero como mencionamos, no solo entrenamos redes neuronales para lo que va en el auto. Tenemos estas canalizaciones de etiquetado automático que pueden usar modelos de tamaño arbitrario. Así que, de hecho, entrenamos varios modelos que no son desplegables, que son significativamente más grandes y funcionan mucho mejor, porque queremos, digamos, queremos una precisión mucho más alta para el etiquetado automático. Y así hemos hecho mucho de eso. Y ahí definitivamente vemos esta tendencia.
Sí, el etiquetado automático es una parte extremadamente importante de toda esta situación. Sin el etiquetado automático, creo que no podríamos resolver el problema de la conducción autónoma.
Es como una forma curiosa de destilación, donde usan estos modelos muy masivos más la estructura del problema para hacer esta reconstrucción, y luego destilan eso en redes neuronales que despliegan en el auto. Pero básicamente tenemos muchas redes neuronales y muchas tareas que nunca están pensadas para ir al auto.
Y además, a medida que pasa el tiempo, obtienen nuevos cuadros de información. Así que realmente quieren asegurarse de que su computadora esté distribuida a través de toda la información, en lugar de simplemente tomar un solo cuadro y aferrarse a él durante, digamos, 200 milisegundos. En realidad están llegando cuadros más nuevos. Así que quieren usar toda la información y no solo usar ese único cuadro.
Creo que una de las cosas que estamos viendo es que la capacidad predictiva del auto es inquietantemente buena. Realmente se está volviendo mejor que un humano en términos de predecir, como dices, por ejemplo, qué. Predecir cómo se va a ver esta carretera cuando esté fuera de la vista. Como si estuviera detrás de la curva, y predice la carretera con muy alta precisión, y, ya saben, predice peatones o ciclistas donde sea que estén detrás, ya saben, donde solo ve una pequeña esquina de la bicicleta y un poco a través de las ventanas del autobús. Su capacidad para predecir cosas va a ser mucho mejor que la de los humanos, realmente muchísimo, muchísimo más allá. ¿Verdad?
Sí. Vemos esto a menudo, donde tenemos algo que no es visible, pero la red neuronal está inventando cosas que en realidad son muy sensatas. A veces es inquietantemente bueno, y te quedas pensando, esto no estaba en el conjunto de entrenamiento. Y de hecho, de hecho, en el límite, pueden imaginar que la red neuronal tiene suficientes parámetros para potencialmente recordar la Tierra. Así que, en el límite, en realidad podría darte la respuesta correcta, y es como un mapa de alta definición horneado dentro de los pesos de la red neuronal. Sí. Tengo una pregunta sobre el diseño del Tesla Bot. Específicamente, qué tan importante es mantener esa forma humanoide; construir manos con cinco dedos que también respeten los límites de peso podría ser bastante complicado. Podrían tener que usar accionamiento por cable, y eso también causa todo tipo de problemas.
Quiero decir, esto va a ser la versión uno del robot. Quiero decir, ya veremos. Así que necesita poder hacer las cosas que hace la gente y ser un robot humanoide generalizado. Quiero decir, podrían hacer, podrían potencialmente darle, ya saben, dos dedos y un pulgar o algo así. Ya saben, por ahora le daremos cinco dedos y veremos si eso funciona bien, ¿sí? Probablemente funcione. No necesita, ya saben, tener una fuerza de agarre increíble, pero necesita poder trabajar con herramientas, así que, ya saben, cargar una bolsa, ese tipo de cosa.
Audience
Muy bien, muchas gracias por la presentación. Así que un antiguo profesor mío me dijo que lo que más le disgustaba de su Tesla era que la experiencia de usuario de Autopilot no inspiraba mucha confianza en el sistema. Especialmente cuando, por ejemplo, los objetos están girando, las clasificaciones están parpadeando. Me preguntaba, incluso si tienen un buen sistema de conducción autónoma, ¿cómo están trabajando para convencer a los propietarios de Tesla, a otros usuarios de la vía o al público en general de que su sistema autónomo es seguro y confiable?
Bueno, creo que eso son los autos. Hace un tiempo los autos solían girar, ya no giran más. Si han visto los videos de la beta de FSD, son bastante sólidos, y van a seguir siendo más sólidos.
Sí. A medida que agregan más y más datos y entrenan estas redes multicámara. Estas son bastante decentes, en realidad. Apenas tienen unos meses y sigue mejorando, no es un producto terminado, y podemos ver claramente que esto va a llegar a ser un espacio perfecto, perfecto. Porque, ¿por qué no? Toda la información está ahí en los videos. Debería producir, dado suficientes datos y buenas arquitecturas. Y esto es solo un punto intermedio en la línea de tiempo.
Quiero decir, claramente se dirige a ser mucho mejor que un humano, sin duda.
Audience
Mi turno. Ah, hola. Aquí. Me pregunto si podrían hablar un poco sobre la economía a corto y mediano plazo del robot. Supongo que entiendo la visión a largo plazo de reemplazar el trabajo físico, pero también creo que las tareas repetitivas, peligrosas y aburridas tienden a no estar tan bien remuneradas. Y entonces simplemente no veo cómo reproducir. Ya saben, empiecen con un superauto y
luego entrar en un segmento más bajo del mercado. ¿Cómo hacen eso para un robot? ¿Humanoide? Bueno, supongo que ya veremos.
Audience
Hola. Hola. Tenía curiosidad por saber cómo la IA del auto prioriza la seguridad del ocupante frente a la seguridad del peatón, y qué proceso de pensamiento hay detrás,
como para decidir cómo incorporar esto en la IA. Bueno, quiero decir, nosotros. Lo que hay que apreciar es que, desde el punto de vista de la computadora, todo se mueve lentamente. Así que piensen, ya saben, para un humano las cosas se mueven rápido. Para la computadora no se mueven rápido. Así que creo que esto, en realidad, es en algún sentido una falsa dicotomía. No es que nunca vaya a pasar, pero va a ser muy raro. Ya saben, si piensan en algo en la dirección opuesta, como renderizar, ya saben, con trazado de rayos completo, gráficos mejorados con redes neuronales, en algo como Cyberpunk o cualquier videojuego avanzado, haciendo 60 cuadros por segundo, perfectamente renderizados. ¿Cuánto tiempo le tomaría a una persona siquiera renderizar un solo cuadro, y sin errores? No se puede hacer. Quiero decir, le tomaría como un mes solo para renderizar un cuadro de los 60 que hay en un segundo en un videojuego. Es. Las computadoras son rápidas y los humanos son lentos. Quiero decir, por ejemplo. Así que, del lado de los cohetes, no se puede dirigir el cohete a órbita. De hecho, conectamos un joystick para ver si alguien podía dirigir el cohete hasta la órbita. Pero necesitas reaccionar a aproximadamente 6, 7 hercios. La gente no puede hacerlo. Ni siquiera. Eso es bastante bajo. Ya saben, estamos hablando más bien de apuntar a algo como 30 Hz.
Audience
Hola. Con el, aquí mismo, con el Hardware 3, ha habido mucha especulación de que con redes más grandes está llegando a los límites de lo que puede ofrecer. ¿Cuánto margen han dado los modos de cómputo extendido, y en qué punto se necesitaría el Hardware 4, si es que se necesita?
Bueno, confío en que el Hardware 3, o la computadora de conducción totalmente autónoma 1, va a poder lograr la conducción totalmente autónoma con un nivel de seguridad mucho mayor que el de un humano. Probablemente, no sé, al menos entre un 200% y un 300% mejor que un humano. Luego, obviamente, habrá un futuro Hardware 4, o segunda computadora de conducción totalmente autónoma, que probablemente introduciremos con el Cybertruck, así que tal vez dentro de más o menos un año. Así que probablemente, bueno, van a ser más o menos cuatro veces más capaces. Pero realmente va a tratarse de, ¿podemos pasar de, digamos, para argumentar, un 300% más seguro que una persona, a un 1000% más seguro? Así como hay personas en la carretera con distintas habilidades de conducción, pero aun así dejamos que la gente conduzca. No tienen que ser el mejor conductor del mundo para estar en la carretera. Así que, como vemos. Así que, sí.
Audience
Entonces, ¿les preocupa en absoluto, ya que no tienen ningún sensor de profundidad en el auto, que la gente intente hacer ataques adversarios, como fotos impresas o algo así, para intentar engañar a la red neuronal RGB?
Sí. Como, ¿qué? Hacer algo tipo Wile E. Coyote, ya saben, como pintar el túnel en la, en la pared. Es como, ups. En realidad no hemos visto mucho de eso. Quiero decir, seguro. Como ahora mismo, si tuvieran, muy probablemente, una camiseta con una señal de alto impresa, que de hecho yo tengo una camiseta con una señal de alto, y, y luego se la muestran al auto de repente. Va a, va a detenerse. Lo comprobé. Pero obviamente podemos, a medida que vemos estos ataques adversarios, entonces podemos entrenar a los autos para que, ya saben, noten que, bueno, en realidad es una persona con una camiseta con una señal de alto, así que probablemente no es una señal de alto real.
Audience
Hola, mi pregunta es sobre la predicción y la planificación. Tengo curiosidad, ¿cómo incorporan la incertidumbre en sus algoritmos de planificación? ¿Básicamente asumen, mencionaron que ejecutan el, el Autopilot para todos los demás autos en la carretera? ¿Asumen que todos van a seguir esas reglas, o están teniendo en cuenta la posibilidad de que, bueno, podrían ser malos conductores, por ejemplo?
Sí, sí tenemos en cuenta futuros multimodales. No es que simplemente elijamos uno, los tenemos en cuenta. Esta persona en realidad puede hacer muchas cosas, y usamos su física y cinemática reales para asegurarnos de que no estén haciendo algo que interfiera con nosotros antes de actuar. Así que, si hay alguna incertidumbre, somos conservadores y entonces les cedemos el paso. Por supuesto que esto tiene un límite, porque si son demasiado conservadores, entonces probablemente no sea práctico. Así que en algún momento tenemos que actuar con firmeza, y aun así nos asegurarnos de que la otra persona pueda cedernos el paso a nosotros y actuar con sensatez.
Debería decir que, antes de introducir algo en la flota, lo vamos a ejecutar en modo sombra. Y así, y vamos a ver qué, qué habría hecho esta red neuronal, por ejemplo, en esta situación particular. Y entonces, efectivamente, los conductores la están entrenando. Entrenando la red. Así que, si la red neuronal hubiera controlado y, ya saben, digamos que hubiera girado. Correcto. Pero la persona en realidad giró a la izquierda, y es como, ah, hubo una diferencia. ¿Por qué hubo esa diferencia? Y, en segundo lugar, todos los conductores humanos esencialmente están entrenando a la red neuronal sobre cuál es el curso correcto de acción. Suponiendo que eso no termine en un choque, ya saben, en ese caso no cuenta.
Y, en segundo lugar, tenemos varias estimaciones de incertidumbre, como el parpadeo. Y cuando observamos esto, en realidad decimos que no somos capaces de ver algo. En realidad, hacemos que el auto se reduzca la velocidad para estar de nuevo seguro y obtener más información antes de actuar.
No queremos ser imprudentes y simplemente meternos en algo que no conocemos. Solo vamos a lugares que conocemos.
Sí, sí. Idealmente debería ser que el auto, cuanto menos sabe, más lento va.
Sí. No es cierto en algún punto, pero ahora es.
Sí. Debería ser una velocidad proporcional a la confianza.
Audience
Gracias por la presentación. Así que tengo curiosidad, aprecio el hecho de que el FSD esté mejorando, pero si tuvieran la capacidad de mejorar un solo componente dentro de la pila de IA presentada hoy, ya sea simulación, recolección de datos, planificación y control, etcétera. ¿Cuál, en su opinión, va a tener el mayor impacto en el rendimiento del sistema de conducción totalmente autónoma?
Realmente es el área bajo la curva de estos múltiples puntos, y si mejoran cualquiera de ellos, debería mejorar el área.
Quiero decir, a corto plazo, podría decirse que necesitamos que todas las redes sean de video envolvente, y todavía tenemos algo heredado. Esto es muy a corto plazo. Obviamente lo estamos arreglando rápido, pero todavía hay algunas redes que no están usando video envolvente, y lo ideal sería que todas usen video envolvente.
Sí, creo que hay muchas piezas del rompecabezas por ahí para lograr el éxito. Solo necesitamos más gente capaz que también nos ayude a hacer que funcione.
Sí, ese es el verdadero cuello de botella.
Ese es el verdadero cuello de botella, diría yo. Y realmente es una de las razones por las que estamos organizando este evento.
Exactamente. Bien dicho, Andrej, que simplemente hay una cantidad tremenda de trabajo por hacer para lograr. Lograr que funcione. Así que por eso necesitamos que se unan personas talentosas y resuelvan el problema.
Audience
Gracias por la gran presentación. Respondieron muchas de mis preguntas. Pero una cosa es: imaginen que ahora tienen una gran cantidad de datos, incluso innecesarios. ¿Cómo consideran que hay un problema de olvido en las redes neuronales? ¿Cómo están considerando esos aspectos? Y también otra cosa, ¿están considerando el aprendizaje en línea o el aprendizaje continuo, para que tal vez cada conductor pueda tener su
propia versión del software de conducción autónoma? Creo que conozco la literatura a la que se refieren. Eso no es uno de los problemas que hemos visto. Y no hemos hecho demasiado aprendizaje continuo. Entrenamos el sistema una vez, lo ajustamos finamente unas cuantas veces, y eso más o menos va al auto. Necesitamos algo estable que podamos evaluar extensamente, y luego pensamos que eso está bien, y eso va a los autos. Así que no hacemos demasiado aprendizaje sobre la marcha ni aprendizaje continuo, y no enfrentamos el problema del olvido.
Pero va a haber configuraciones donde puedan decir, por ejemplo, si quieren, ¿son típicamente un conductor conservador o quieren conducir rápido o despacio? Ya saben, es como, voy tarde a. Vamos, voy tarde para el aeropuerto. ¿Podrías ir más rápido que, ya saben, básicamente el tipo de instrucciones que le darían a su conductor de Uber? Es como, voy tarde para el vuelo. Por favor, apúrate, o tómatelo con calma, o lo que sea tu estilo. Así que tomemos algunas preguntas más aquí. Y después lo damos por terminado. Muy bien.
Audience
Así que, a medida que nuestros modelos se han vuelto cada vez más capaces, y supongo que están desplegando estos modelos en el mundo real, una cosa que supongo que es posible es que la IA se vuelva más, supongo, desalineada con lo que los humanos desean. Entonces supongo, ¿es esto algo que les preocupa a medida que despliegan más y más robots, o simplemente van a resolver ese problema cuando lleguen a él?
Sí, creo que deberíamos preocuparnos por la IA ahora mismo. Como, lo que estamos tratando de hacer aquí es, diría yo, una IA estrecha. Bastante estrecha. Como, simplemente hacer que el auto conduzca mejor que un humano, y luego lograr que el robot humanoide pueda hacer cosas básicas, ya saben. Así que, en el punto en que empiecen a acercarse a una inteligencia sobrehumana, no sé, todas las apuestas quedan abiertas. Pero, ya saben, y eso, ya saben, probablemente va a pasar. Pero lo que estamos tratando de hacer aquí en Tesla es crear una IA útil que la gente ame y que sea inequívocamente buena. Ese es nuestro, ya saben, vamos a intentar apuntar a eso. Tal vez una pregunta más.
Audience
Hola, mi pregunta es sobre el sensor de cámara. Al principio de la charla mencionaron construir un animal sintético. Y si lo piensan, una cámara es una aproximación muy pobre de un ojo humano. Y un ojo humano hace mucho más que tomar una secuencia de cuadros. ¿Han investigado, como, hoy en día hay, como, cámaras de eventos? ¿Las han investigado? ¿O están considerando un diseño de cámara más flexible, o construir su propia cámara, por ejemplo?
Bueno, con el Hardware 4 vamos a tener una cámara de nueva generación, pero tengo que decir que, con las cámaras actuales, no hemos llegado al límite de las cámaras actuales. Así que. Y confío en que podemos lograr la conducción totalmente autónoma con mucha más seguridad que los humanos, con las cámaras actuales y el hardware de cómputo actual. Pero, ya saben, sería bueno ser 1000% mejor en lugar de 300% mejor. Así que vamos a ver una evolución continua en todos los niveles en pos de ese objetivo. Y creo que en el futuro la gente va a mirar hacia atrás y va a decir, vaya, no puedo creer que tuviéramos que conducir estos autos nosotros mismos. Ya saben, como los autos autónomos van a ser simplemente algo normal, como los elevadores automáticos. Ya saben, los elevadores solían tener operadores de elevador, y había alguien ahí con, ya saben, una gran palanca de relé operando el elevador, y de vez en cuando se cansaban, o, ya saben, cometían un error, y claro, alguien quedaba partido por la mitad. Así que ahora, ya saben, hicimos que los elevadores fueran automáticos, y simplemente van y presionan el botón, y pueden estar en un rascacielos de cien pisos y realmente no preocuparse por ello, simplemente entran y presionan un botón, y el elevador los lleva a donde quieren ir. Pero antes todos los elevadores se operaban manualmente, y va a ser lo mismo con los autos, todos los autos van a ser automáticos y, obviamente, eléctricos. Así que todavía va a haber algunos autos de gasolina y algunos autos manuales, así como todavía hay algunos caballos. Así que. Muy bien, bueno, gracias a todos por venir, y espero que hayan disfrutado la presentación, y gracias por las excelentes preguntas. Sa.