Meta 的 AI 大师 LeCun：当今的大多数 AI 方法永远不会带来真正的智能

中德网： 我们说超出了大多数投资者的投资视野。

YL： 这是正确的。 所以，问题是，在性能达到预期水平之前，人们会失去耐心或花光钱吗？

中德网： 关于为什么选择模型中选择的一些元素，有什么有趣的要说的吗？ 因为你引用了 Kenneth Craik [1943,解释的本质]，你引用了 Bryson 和 Ho [1969, 应用最优控制]，我很好奇你为什么从这些影响开始，如果你特别相信这些人已经把它钉在了他们所做的事情上。 你为什么从那里开始？

YL： 嗯，我不认为，当然，他们已经确定了所有细节。 所以，Bryson 和 Ho，这是我 1987 年在多伦多与 Geoffrey Hinton 做博士后时读过的一本书。 但我在写博士论文时事先就知道了这行工作，并在本质上将最优控制和反向传播联系起来。 如果你真的想成为另一个 Schmidhuber，你会说反向传播的真正发明者实际上是最优控制理论家 Henry J. Kelley、Arthur Bryson，甚至可能是俄罗斯最优控制反向理论家 Lev Pontryagin在 50 年代后期。 

所以，他们想通了，事实上，你可以看到它的根源，它背后的数学，是拉格朗日力学。 所以你可以回到欧拉和拉格朗日，事实上，从他们对拉格朗日经典力学的定义中可以找到一点这点，真的。 所以，在最优控制的背景下，这些人感兴趣的基本上是计算火箭轨迹。 你知道，这是早期的太空时代。 如果你有火箭的模型，它会告诉你这里是火箭当时的状态 t，这是我要采取的行动，所以，各种推力和执行器，这是火箭当时的状态 T + 1.

中德网： 一个状态-动作模型，一个价值模型。

YL： 没错，控制的基础。 所以，现在你可以通过想象一系列命令来模拟火箭的射击，然后你就有了一些成本函数，即火箭到目标、空间站或其他任何东西的距离。 然后通过某种梯度下降，你可以弄清楚，我如何更新我的动作序列，以便我的火箭实际上尽可能接近目标。 这必须通过及时向后传播信号来实现。 这就是反向传播，梯度反向传播。 这些信号，在拉格朗日力学中被称为共轭变量，但实际上，它们是梯度。 所以，他们发明了反向传播，但他们没有意识到这个原理可以用来训练一个可以进行模式识别或类似事情的多阶段系统。 这可能直到 70 年代末、80 年代初才真正实现，然后直到 80 年代中期才真正实施并开始工作。 好的，这就是反向传播真正起飞的地方，因为人们在这里展示了几行代码，你可以训练神经网络，端到端，多层。 这解除了感知器的限制。 而且，是的，与最佳控制有联系，但这没关系。

中德网： 这么说来，你一开始的这些影响又回到了反向传播，这对你来说很重要吗？

YL： 是的，但我认为人们忘记了一点，在这方面有很多工作，你知道，早在 90 年代，甚至 80 年代，包括像迈克尔乔丹这样的人 [MIT Dept. of Brain和认知科学]以及类似的人，他们不再使用神经网络，而是认为可以使用神经网络进行控制，并且可以使用最优控制的经典思想。 因此，诸如所谓的模型预测控制，现在称为模型预测控制之类的东西，如果你有一个你试图控制的系统的良好模型，你可以模拟或想象一系列动作的结果以及它所处的环境。然后通过梯度下降，本质上——这不是学习，这是推理——你可以找出可以最小化我的目标的最佳动作序列。 因此，我认为，使用带有潜在变量的成本函数进行推理是当前大规模神经网络所忘记的事情。 但长期以来，它是机器学习的一个非常经典的组成部分。 因此，每个贝叶斯网络或图形模型或概率图形模型都使用这种类型的推理。 你有一个模型来捕捉一堆变量之间的依赖关系，你被告知一些变量的值，然后你必须推断其余变量的最可能值。 这是图形模型和贝叶斯网络中推理的基本原理，诸如此类。 我认为这基本上就是推理应该是什么，推理和计划。

中德网： 你是一个壁橱贝叶斯主义者。

YL： 我是一个非概率贝叶斯。 我以前开过这个玩笑。 几年前我实际上在 NeurIPS，我想是在 2018 年或 2019 年，我被一个贝叶斯主义者拍到视频，问我是否是贝叶斯主义者，我说，是的，我是贝叶斯主义者，但我如果你愿意的话，我是一个非概率贝叶斯，某种基于能量的贝叶斯。 

中德网： 这听起来绝对像是 星际迷航. 您在本文末尾提到，要实现您的设想需要多年的努力。 告诉我目前的一些工作是由什么组成的。

YL： 因此，我将在本文中解释您如何训练和构建 JEPA。 我提倡的标准是采用某种方式最大化提取的表示具有的关于输入的信息内容。 然后第二个是最小化预测误差。 如果你在预测器中有一个潜在变量，它允许预测器是不确定的，你还必须通过最小化它的信息内容来规范这个潜在变量。 那么，你现在有两个问题，一个是如何最大化某个神经网络输出的信息量，另一个是如何最小化某个潜在变量的信息量？ 如果你不做这两件事，系统就会崩溃。 它不会学到任何有趣的东西。 它将给一切事物零能量，类似的东西，这不是一个好的依赖模型。 这是我提到的防倒塌问题。 

我说的是人们做过的所有事情，只有两类方法可以防止崩溃。 一种是对比方法，另一种是那些正则化方法。 因此，这种最大化两个输入表示的信息内容和最小化潜在变量的信息内容的想法，属于正则化方法。 但是这些联合嵌入架构中的很多工作都使用了对比方法。 事实上，它们可能是目前最受欢迎的。 所以，问题是如何以一种可以优化或最小化的方式衡量信息内容？ 这就是事情变得复杂的地方，因为我们实际上不知道如何衡量信息内容。 我们可以对其进行近似，我们可以对其进行上限，我们可以做类似的事情。 但它们实际上并没有衡量信息内容，实际上，在某种程度上，这些信息内容甚至都没有得到很好的定义。

中德网： 这不是香农定律吗？ 不是信息论？ 你有一定数量的熵，好熵和坏熵，好熵是一个有效的符号系统，坏熵是噪声。 不是都被香农解决了吗？

YL： 你是对的，但背后有一个重大缺陷。 从某种意义上说，如果您有数据，并且可以以某种方式将数据量化为离散符号，那么您是对的，然后您测量每个符号的概率，那么这些符号携带的最大信息量是对可能的符号求和 圆周率日志圆周率， 正确的？ 在哪里 Pi 是符号的概率 一世 - 这就是香农熵。 [香农定律通常表述为 H = – ∑ pi log pi。]

但问题是：什么是 Pi? 当符号数量较少且符号独立绘制时，这很容易。 当有很多符号和依赖项时，这非常困难。 因此，如果您有一个位序列，并且假设这些位彼此独立并且概率在 XNUMX 和 XNUMX 之间相等或其他任何值，那么您可以轻松测量熵，没问题。 但是如果你得到的是高维向量，比如，你知道的，数据框，或者类似的东西，那么什么是 Pi? 分布是什么？ 首先你必须量化那个空间，这是一个高维的、连续的空间。 您不知道如何正确量化它。 可以使用k-means等。这就是人们在做视频压缩和图像压缩时所做的。 但这只是一个近似值。 然后你必须做出独立的假设。 因此，很明显，在视频中，连续的帧不是独立的。 存在依赖关系，该框架可能依赖于您在一小时前看到的另一个框架，这是同一件事的图片。 所以，你知道，你无法测量 Pi. 测量 Pi，你必须有一个学习预测的机器学习系统。 所以你又回到了之前的问题。 因此，本质上，您只能近似信息的度量。 

让我举一个更具体的例子。 我们一直在使用的算法之一，我在这篇文章中谈到过，就是这个叫做 VICReg 的东西，即方差-不变性-协方差正则化。 它在 ICLR 上发表的另一篇论文中，并且 它被放在 arXiv 上 大约一年前，即 2021 年。其中的想法是最大限度地利用信息。 这个想法实际上来自我小组的一篇早期论文，名为 巴洛双胞胎. 基本上，通过假设变量之间的唯一依赖关系是相关性，线性依赖关系，您可以最大化来自神经网络的向量的信息内容。 因此，如果您假设变量对之间或系统中变量之间唯一可能的依赖关系是贵重物品对之间的相关性，这是非常粗略的近似，那么您可以最大化来自您的系统的信息内容通过确保所有变量都具有非零方差——比如说，方差一，不管它是什么——然后对它们进行反向相关，这个过程称为白化，它也不是新的。 这样做的问题是，您很可能在任何一组变量之间或什至只是不是线性依赖的变量对之间具有极其复杂的依赖关系，并且它们不会出现在相关性中。 因此，例如，如果您有两个变量，并且这两个变量的所有点都以某种螺旋形式排列，那么这两个变量之间存在很强的依赖性，对吧？ 但事实上，如果你计算这两个变量之间的相关性，它们并不相关。 所以，这里有一个例子，这两个变量的信息量实际上很小，它只是一个量，因为它是你在螺旋中的位置。 它们是不相关的，所以你认为你有很多信息来自这两个变量，而实际上你没有，你只有，你知道，你可以从另一个变量中预测其中一个，基本上。 因此，这表明我们只有非常近似的方法来衡量信息内容。

中德网： 所以这是你现在必须做的事情之一？ 这是一个更大的问题，即我们如何知道何时最大化和最小化信息内容？

YL：  或者我们为此使用的代理是否足以完成我们想要的任务。 事实上，我们在机器学习中一直这样做。 我们最小化的成本函数永远不是我们真正想要最小化的成本函数。 所以，例如，你想做分类，好吗？ 训练分类器时要最小化的成本函数是分类器所犯错误的数量。 但这是一个不可微的、可怕的成本函数，你不能最小化它，因为你知道你将改变你的神经网络的权重，直到其中一个样本改变了它的决定，然后一个跳跃，什么都不会改变在错误中，正面或负面。

中德网： 所以你有一个代理，它是一个目标函数，你可以肯定地说，我们绝对可以流动这个东西的梯度。

YL： 这是正确的。 所以人们使用这种交叉熵损失，或者 SOFTMAX，你有好几个名字，但它是同一个东西。 它基本上是系统产生的错误数量的平滑近似，其中平滑是通过基本上考虑系统给每个类别的分数来完成的。

中德网： 有什么我们没有涵盖的内容您想介绍吗？

YL： 大概是在强调重点。 我认为人工智能系统需要能够推理，而我提倡的这个过程是最小化一些关于一些潜在变量的目标。 这允许系统进行计划和推理。 我认为我们应该放弃概率框架，因为当我们想做诸如捕获高维连续变量之间的依赖关系之类的事情时，它是棘手的。 我主张放弃生成模型，因为系统将不得不投入太多资源来预测难以预测的事物，并且可能会消耗太多资源。 差不多就是这样。 如果您愿意，那是主要信息。 然后是整体架构。 然后是关于意识的本质和配置器的作用的那些猜测，但这真的是猜测。

中德网： 我们下次再谈。 我想问你，你如何对这个东西进行基准测试？ 但我猜你现在离基准测试还有一点距离？

YL： 不一定那么远，某种简化版本。 你可以做每个人在控制或强化学习中所做的事情，也就是说，你训练它玩 Atari 游戏或类似的游戏或其他一些不确定的游戏。

中德网： 谢谢你的时间，扬。