El gurú de la IA de Meta, LeCun: La mayoría de los enfoques de IA actuales nunca conducirán a una verdadera inteligencia

ZDNet: Decimos más allá del horizonte de inversión de la mayoría de los inversores.

YL: Así es. Entonces, la pregunta es, ¿la gente perderá la paciencia o se quedará sin dinero antes de que el rendimiento alcance el nivel deseado?

ZDNet: ¿Hay algo interesante que decir sobre por qué eligió algunos de los elementos que eligió en el modelo? Porque cita a Kenneth Craik [1943,La naturaleza de la explicación], y cita a Bryson y Ho [1969, Control óptimo aplicado], y tengo curiosidad acerca de por qué empezaste con estas influencias, si creías especialmente que estas personas habían dado en el clavo en cuanto a lo que habían hecho. ¿Por qué empezaste ahí?

YL: Bueno, no creo, ciertamente, que tuvieran todos los detalles clavados. Entonces, Bryson y Ho, este es un libro que leí en 1987 cuando era un posdoctorado con Geoffrey Hinton en Toronto. Pero conocía esta línea de trabajo de antemano cuando estaba escribiendo mi doctorado e hice la conexión entre control óptimo y backprop, esencialmente. Si realmente quisiera ser, ya sabe, otro Schmidhuber, diría que los verdaderos inventores de backprop fueron en realidad los teóricos del control óptimo Henry J. Kelley, Arthur Bryson y quizás incluso Lev Pontryagin, que es un teórico ruso del control óptimo. a finales de los años 50. 

Entonces, lo descubrieron y, de hecho, puedes ver la raíz de esto, las matemáticas debajo de eso, es la mecánica lagrangiana. Así que puedes volver a Euler y Lagrange, de hecho, y encontrar una pizca de esto en su definición de la mecánica clásica lagrangiana, de verdad. Entonces, en el contexto del control óptimo, lo que les interesaba a estos muchachos era básicamente calcular las trayectorias de los cohetes. Ya sabes, esto fue la era espacial temprana. Y si tienes un modelo del cohete, te dice aquí está el estado del cohete en ese momento t, y aquí está la acción que voy a tomar, entonces, empuje y actuadores de varios tipos, aquí está el estado del cohete en ese momento t + 1.

ZDNet: Un modelo de estado-acción, un modelo de valor.

YL: Así es, la base del control. Entonces, ahora puedes simular el disparo de tu cohete imaginando una secuencia de comandos, y luego tienes una función de costo, que es la distancia del cohete a su objetivo, una estación espacial o lo que sea. Y luego, mediante algún tipo de descenso de gradiente, puedes descubrir cómo puedo actualizar mi secuencia de acción para que mi cohete se acerque lo más posible al objetivo. Y eso tiene que venir retropropagando señales hacia atrás en el tiempo. Y eso es retropropagación, gradiente de retropropagación. Esas señales, se llaman variables conjugadas en la mecánica de Lagrange, pero de hecho, son gradientes. Por lo tanto, inventaron backprop, pero no se dieron cuenta de que este principio podría usarse para entrenar un sistema de múltiples etapas que puede reconocer patrones o algo así. Esto no se realizó realmente hasta finales de los 70, principios de los 80, y luego no se implementó ni se hizo funcionar hasta mediados de los 80. De acuerdo, entonces, aquí es donde backprop realmente despegó porque la gente mostró que aquí hay algunas líneas de código que pueden entrenar una red neuronal, de extremo a extremo, multicapa. Y eso elimina las limitaciones del Perceptrón. Y sí, hay conexiones con un control óptimo, pero está bien.

ZDNet: Entonces, esa es una manera larga de decir que estas influencias con las que empezaste estaban regresando al backprop, ¿y eso fue importante como punto de partida para ti?

YL: Sí, pero creo que lo que la gente olvidó un poco es que hubo bastante trabajo en esto, ya sabes, en los años 90, o incluso en los 80, incluso por personas como Michael Jordan [MIT Dept. of Brain and Cognitive Sciences] y gente así que ya no está haciendo redes neuronales, sino la idea de que puedes usar redes neuronales para el control, y puedes usar ideas clásicas de control óptimo. Entonces, cosas como lo que se llama control predictivo del modelo, lo que ahora se llama control predictivo del modelo, esta idea de que puede simular o imaginar el resultado de una secuencia de acciones si tiene un buen modelo del sistema que está tratando de controlar. y el entorno en el que se encuentra. Y luego, por descenso de gradiente, esencialmente, esto no es aprendizaje, esto es inferencia, puede descubrir cuál es la mejor secuencia de acciones que minimizará mi objetivo. Entonces, el uso de una función de costo con una variable latente para la inferencia es, creo, algo que los cultivos actuales de redes neuronales a gran escala han olvidado. Pero fue un componente muy clásico del aprendizaje automático durante mucho tiempo. Entonces, cada Red Bayesiana o modelo gráfico o modelo gráfico probabilístico usaba este tipo de inferencia. Tiene un modelo que captura las dependencias entre un grupo de variables, se le dice el valor de algunas de las variables y luego tiene que inferir el valor más probable del resto de las variables. Ese es el principio básico de inferencia en modelos gráficos y redes bayesianas, y cosas por el estilo. Y creo que eso es básicamente de lo que debería tratarse el razonamiento, el razonamiento y la planificación.

ZDNet: Eres un bayesiano de armario.

YL: Soy un bayesiano no probabilístico. Hice ese chiste antes. De hecho, estuve en NeurIPS hace unos años, creo que fue en 2018 o 2019, y un bayesiano me grabó en video y me preguntó si era bayesiano, y dije: Sí, soy bayesiano, pero Soy un bayesiano no probabilístico, una especie de bayesiano basado en la energía, si quieres. 

ZDNet: Lo que definitivamente suena como algo de Star Trek. Mencionaste al final de este documento que se necesitarán años de trabajo muy duro para realizar lo que imaginas. Cuéntame en qué consiste parte de ese trabajo en este momento.

YL: Entonces, explico cómo se entrena y construye la JEPA en el documento. Y el criterio por el que abogo es tener alguna forma de maximizar el contenido de información que las representaciones que se extraen tienen sobre la entrada. Y luego el segundo es minimizar el error de predicción. Y si tiene una variable latente en el predictor que permite que el predictor sea no determinista, debe regularizar también esta variable latente minimizando su contenido de información. Entonces, ahora tiene dos problemas: cómo maximizar el contenido de información de la salida de alguna red neuronal, y el otro es cómo minimizar el contenido de información de alguna variable latente. Y si no haces esas dos cosas, el sistema colapsará. No aprenderá nada interesante. Dará energía cero a todo, algo así, que no es un buen modelo de dependencia. Es el problema de prevención de colapso que menciono. 

Y digo que de todas las cosas que la gente ha hecho alguna vez, solo hay dos categorías de métodos para prevenir el colapso. Uno son los métodos contrastivos y el otro son los métodos regularizados. Entonces, esta idea de maximizar el contenido de información de las representaciones de las dos entradas y minimizar el contenido de información de la variable latente, eso pertenece a los métodos regularizados. Pero gran parte del trabajo en esas arquitecturas de incrustación conjunta está utilizando métodos contrastivos. De hecho, son probablemente los más populares en este momento. Entonces, la pregunta es exactamente ¿cómo se mide el contenido de la información de manera que se pueda optimizar o minimizar? Y ahí es donde las cosas se complican porque en realidad no sabemos cómo medir el contenido de la información. Podemos aproximarlo, podemos darle un límite superior, podemos hacer cosas así. Pero en realidad no miden el contenido de la información, que, en realidad, hasta cierto punto ni siquiera está bien definido.

ZDNet: ¿No es la Ley de Shannon? ¿No es teoría de la información? Tienes una cierta cantidad de entropía, buena entropía y mala entropía, y la buena entropía es un sistema de símbolos que funciona, la mala entropía es ruido. ¿No está todo resuelto por Shannon?

YL: Tienes razón, pero hay un gran defecto detrás de eso. Tiene razón en el sentido de que si tiene datos que le llegan y de alguna manera puede cuantificar los datos en símbolos discretos, y luego mide la probabilidad de cada uno de esos símbolos, entonces la cantidad máxima de información transportada por esos símbolos es el suma sobre los posibles símbolos de registro pi pi, ¿Correcto? Dónde Pi es la probabilidad del símbolo i - esa es la entropía de Shannon. [La Ley de Shannon se formula comúnmente como H = – ∑ pi log pi.]

Aquí está el problema, sin embargo: ¿Qué es Pi? Es fácil cuando el número de símbolos es pequeño y los símbolos se dibujan de forma independiente. Cuando hay muchos símbolos y dependencias, es muy difícil. Entonces, si tiene una secuencia de bits y asume que los bits son independientes entre sí y la probabilidad es igual entre uno y cero o lo que sea, entonces puede medir fácilmente la entropía, no hay problema. Pero si las cosas que te llegan son vectores de alta dimensión, como, ya sabes, marcos de datos, o algo así, ¿qué es Pi? ¿Cuál es la distribución? Primero tienes que cuantizar ese espacio, que es un espacio continuo de alta dimensión. No tienes idea de cómo cuantificar esto correctamente. Puede usar k-means, etc. Esto es lo que hace la gente cuando comprime video y comprime imágenes. Pero es solo una aproximación. Y luego tienes que hacer suposiciones de independencia. Entonces, está claro que en un video, los cuadros sucesivos no son independientes. Hay dependencias, y ese marco podría depender de otro marco que viste hace una hora, que era una imagen de lo mismo. Entonces, ya sabes, no puedes medir Pi. Para medir Pi, debe tener un sistema de aprendizaje automático que aprenda a predecir. Y entonces vuelves al problema anterior. Entonces, solo puedes aproximar la medida de la información, esencialmente. 

Permítanme tomar un ejemplo más concreto. Uno de los algoritmos con los que hemos estado jugando, y de los que he hablado en el artículo, es algo llamado VICReg, regularización de varianza-invarianza-covarianza. Está en un documento separado que se publicó en ICLR, y fue puesto en arXiv aproximadamente un año antes, 2021. Y la idea allí es maximizar la información. Y la idea en realidad surgió de un artículo anterior de mi grupo llamado Gemelos Barlow. Maximizas el contenido de información de un vector que sale de una red neuronal, básicamente, asumiendo que la única dependencia entre las variables es la correlación, la dependencia lineal. Entonces, si asume que la única dependencia posible entre pares de variables, o entre variables en su sistema, son las correlaciones entre pares de valores, que es una aproximación extremadamente aproximada, entonces puede maximizar el contenido de información que sale de su sistema. asegurándose de que todas las variables tengan una varianza distinta de cero, digamos, varianza uno, no importa cuál sea, y luego correlacionándolas, el mismo proceso que se llama blanqueamiento, tampoco es nuevo. El problema con esto es que puedes tener dependencias extremadamente complejas entre grupos de variables o incluso solo pares de variables que no son dependencias lineales, y no aparecen en las correlaciones. Entonces, por ejemplo, si tiene dos variables y todos los puntos de esas dos variables se alinean en una especie de espiral, hay una dependencia muy fuerte entre esas dos variables, ¿verdad? Pero, de hecho, si calcula la correlación entre esas dos variables, no están correlacionadas. Entonces, aquí hay un ejemplo donde el contenido de información de estas dos variables es realmente muy pequeño, es solo una cantidad porque es su posición en la espiral. Están descorrelacionados, por lo que cree que tiene mucha información proveniente de esas dos variables cuando, de hecho, no es así, solo tiene, ya sabe, puede predecir una de las variables a partir de la otra, esencialmente. Entonces, eso muestra que solo tenemos formas muy aproximadas de medir el contenido de la información.

ZDNet: ¿Y esa es una de las cosas en las que tienes que estar trabajando ahora con esto? Esta es la pregunta más importante: ¿cómo sabemos cuándo estamos maximizando y minimizando el contenido de la información?

YL:  O si el proxy que estamos usando para esto es lo suficientemente bueno para la tarea que queremos. De hecho, hacemos esto todo el tiempo en el aprendizaje automático. Las funciones de costo que minimizamos nunca son las que realmente queremos minimizar. Entonces, por ejemplo, quieres hacer una clasificación, ¿de acuerdo? La función de costo que desea minimizar cuando entrena a un clasificador es la cantidad de errores que comete el clasificador. Pero esa es una función de costo horrible no diferenciable que no puede minimizar porque sabe que va a cambiar los pesos de su red neuronal, nada va a cambiar hasta que una de esas muestras cambie su decisión, y luego un salto en el error, positivo o negativo.

ZDNet: Así que tienes un proxy que es una función objetiva que definitivamente puedes decir, definitivamente podemos fluir gradientes de esta cosa.

YL: Así es. Entonces, la gente usa esta pérdida de entropía cruzada, o SOFTMAX, tiene varios nombres, pero es lo mismo. Y básicamente es una aproximación suave del número de errores que comete el sistema, donde el suavizado se hace, básicamente, teniendo en cuenta la puntuación que el sistema le da a cada una de las categorías.

ZDNet: ¿Hay algo que no hayamos cubierto que le gustaría cubrir?

YL: Probablemente esté enfatizando los puntos principales. Creo que los sistemas de IA deben ser capaces de razonar, y el proceso por el que abogo es minimizar algún objetivo con respecto a alguna variable latente. Eso permite que los sistemas planifiquen y razonen. Creo que deberíamos abandonar el marco probabilístico porque es intratable cuando queremos hacer cosas como capturar dependencias entre variables continuas de alta dimensión. Y estoy abogando por abandonar los modelos generativos porque el sistema tendrá que dedicar demasiados recursos a predecir cosas que son demasiado difíciles de predecir y tal vez consuman demasiados recursos. Y eso es todo. Esos son los mensajes principales, si quieres. Y luego la arquitectura general. Luego están esas especulaciones sobre la naturaleza de la conciencia y el papel del configurador, pero esto es realmente especulación.

ZDNet: Llegaremos a eso la próxima vez. Iba a preguntarte, ¿cómo comparas esto? Pero supongo que estás un poco más lejos de la evaluación comparativa en este momento.

YL: No necesariamente tan lejos en versiones más o menos simplificadas. Puedes hacer lo que todo el mundo hace en el control o el aprendizaje por refuerzo, es decir, entrenas la cosa para jugar juegos de Atari o algo así o algún otro juego que tenga cierta incertidumbre.

ZDNet: Gracias por tu tiempo, Yann.