Meta の AI グル LeCun: 今日の AI アプローチのほとんどは、真の知性につながることはありません

ZDNet： 私たちは、ほとんどの投資家の投資範囲を超えていると言います。

YL: それは正しい。 問題は、パフォーマンスが望ましいレベルに達する前に、人々が忍耐力を失ったり、お金を使い果たしたりするかどうかです。

ZDNet： モデルで選択した要素のいくつかを選択した理由について、何か興味深いことはありますか? Kenneth Craik [1943,説明の性質]、そしてあなたは Bryson and Ho [1969, 応用最適制御]、そしてなぜあなたがこれらの影響から始めたのか、私は興味があります.もしあなたが特にこれらの人々が彼らがしたことまでそれを釘付けにしたと信じていたのなら. なぜそこから始めたのですか？

YL: まあ、確かに、彼らはすべての詳細を釘付けにしていたとは思いません。 ブライソンとホー、これは 1987 年に私がトロントでジェフリー ヒントンのポスドクだったときに読んだ本です。 しかし、私は博士号を書いていたときにこの一連の作業について事前に知っていて、本質的に最適制御とバックプロップを関連付けました。 あなたが本当に別のシュミットフーバーになりたいのなら、バックプロップの本当の発明者は実際には最適制御理論家のヘンリー・J・ケリー、アーサー・ブライソン、そしておそらくロシアの最適制御理論家であるレフ・ポントリャーギンでさえあったと言うでしょう。 50年代後半。 

それで、彼らはそれを考え出しました、そして実際、これの根底にある数学がラグランジュ力学であることを実際に見ることができます。 実際、オイラーとラグランジュに戻ると、ラグランジュの古典力学の定義の中に、このような気配を見つけることができます。 したがって、最適制御のコンテキストで、彼らが興味を持っていたのは、基本的にロケットの軌道を計算することでした。 ご存知のように、これは初期の宇宙時代でした。 ロケットのモデルがある場合は、ここにロケットの状態があることがわかります。 t、そしてこれが私がとろうとしている行動ですので、さまざまな種類の推力とアクチュエーター、これがその時のロケットの状態です t + 1.

ZDNet： 状態行動モデル、価値モデル。

YL: そうです、コントロールの基本です。 これで、一連のコマンドを想像してロケットの発射をシミュレートできます。これにより、ロケットからターゲット、宇宙ステーション、またはその他のものまでの距離であるコスト関数が得られます。 そして、ある種の勾配降下によって、ロケットが実際にターゲットにできるだけ近づくように、アクションのシーケンスを更新するにはどうすればよいかを理解できます。 そしてそれは、信号を時間的に逆伝播することによってもたらされなければなりません。 それが逆伝播、勾配逆伝播です。 これらの信号は、ラグランジュ力学では共役変数と呼ばれますが、実際には勾配です。 彼らはバックプロップを発明しましたが、この原理を使用して、パターン認識などを実行できる多段階システムをトレーニングできることに気づいていませんでした。 これはおそらく 70 年代後半から 80 年代前半まで実現されず、実際には実装されず、80 年代半ばまで機能しませんでした。 オーケー、これは backprop が本当に、ある種、離陸した場所です。これは、ニューラル ネットワークをエンド ツー エンドのマルチレイヤでトレーニングできる数行のコードが示されたためです。 これにより、パーセプトロンの限界が取り除かれます。 そして、ええ、最適な制御との接続がありますが、それは問題ありません。

ZDNet： つまり、あなたが最初に受けたこれらの影響がバックプロップに戻ってきたと言うのは長い道のりであり、それはあなたにとって出発点として重要でしたか?

YL: ええ、しかし、人々が少し忘れていたことだと思います。90 年代、または 80 年代に、マイケル ジョーダン [MIT 脳の研究部門および認知科学] とそのような人々は、もはやニューラル ネットワークを行っていませんが、ニューラル ネットワークを制御に使用できるという考えと、最適制御の古典的なアイデアを使用できるという考えです。 つまり、モデル予測制御と呼ばれるもの、現在はモデル予測制御と呼ばれるもの、制御しようとしているシステムの適切なモデルがあれば、一連のアクションの結果をシミュレートまたは想像できるという考え方です。そして、それが置かれている環境です。基本的に勾配降下法によって — これは学習ではなく、推論です — 私の目的を最小化するための最良の一連のアクションを見つけ出すことができます。 したがって、推論に潜在変数を持つコスト関数を使用することは、大規模なニューラル ネットワークの現在の作物が忘れているものだと思います。 しかし、これは長い間、機械学習の非常に古典的な要素でした。 したがって、すべてのベイジアン ネット、グラフィカル モデル、または確率的グラフィカル モデルは、このタイプの推論を使用していました。 一連の変数間の依存関係をキャプチャするモデルがあり、いくつかの変数の値が通知され、残りの変数の最も可能性の高い値を推測する必要があります。 これが、グラフィカル モデルやベイジアン ネットなどにおける推論の基本原則です。 そして、それが基本的に、推論と計画についての推論であるべきだと思います。

ZDNet： あなたはクローゼットのベイジアンです。

YL: 私は非確率ベイジアンです。 私は前にその冗談を言いました。 私は実際に数年前にNeurIPSにいました.2018年か2019年だったと思います.私がベイジアンであるかどうか尋ねられたベイジアンによってビデオで捕らえられました.必要に応じて、非確率的ベイジアン、一種のエネルギーベースのベイジアンです。 

ZDNet： それは間違いなく何かのように聞こえます Star Trek. このホワイト ペーパーの最後でおっしゃっていましたが、あなたが思い描いたものを実現するには、何年にもわたる大変な努力が必要です。 現時点でのその仕事のいくつかが何で構成されているか教えてください.

YL: そのため、この論文では、JEPA をどのようにトレーニングして構築するかを説明します。 そして、私が提唱している基準は、抽出された表現が入力に関して持つ情報内容を最大化する何らかの方法を持つことです。 XNUMX つ目は、予測誤差の最小化です。 また、予測子が非決定論的であることを可能にする潜在変数が予測子にある場合は、その情報内容を最小限に抑えることによって、この潜在変数も正則化する必要があります。 では、ニューラル ネットワークの出力の情報量を最大化する方法と、潜在変数の情報量をどのように最小化するかという XNUMX つの問題があります。 そして、このXNUMXつができなければ、システムは崩壊します。 面白いことは何も学習しません。 それはすべてにゼロのエネルギーを与えます。そのようなものは、依存の良いモデルではありません. 私が言及するのは崩壊防止の問題です。 

私が言っているのは、これまで人々が行ってきたすべてのことの中で、崩壊を防ぐ方法は XNUMX つのカテゴリーしかないということです。 XNUMX つは対照的な方法で、もう XNUMX つはそれらの規則化された方法です。 したがって、XNUMX つの入力の表現の情報量を最大化し、潜在変数の情報量を最小化するというこの考え方は、正規化された方法に属します。 しかし、これらの共同埋め込みアーキテクチャでの作業の多くは、対照的な方法を使用しています。 実際、彼らはおそらく現時点で最も人気があります。 では、問題は、最適化または最小化できる方法で情報コンテンツをどのように測定するかということです。 情報コンテンツを実際に測定する方法がわからないため、複雑になります。 概算したり、上限を設定したり、そのようなことができます。 しかし、彼らは実際には情報の内容を測定していません。実際には、ある程度明確に定義されていません.

ZDNet： シャノンの法則じゃない？ 情報理論じゃない？ エントロピーにはある程度の量があり、良いエントロピーと悪いエントロピーがあり、良いエントロピーは機能するシンボル システムであり、悪いエントロピーはノイズです。 シャノンで全て解決じゃない？

YL: その通りですが、その背後には大きな欠陥があります。 データが入ってきて、どうにかしてデータを離散シンボルに量子化し、それらの各シンボルの確率を測定した場合、それらのシンボルによって運ばれる情報の最大量はの可能な記号の合計 円周率対数、 右？ どこ Pi シンボルの確率 私 - それがシャノンエントロピーです。 [シャノンの法則は、一般に H = – ∑ pi log pi として定式化されます。]

ただし、ここに問題があります。 Pi? シンボルの数が少なく、シンボルが個別に描画される場合は簡単です。 多くのシンボルと依存関係がある場合、それは非常に困難です。 したがって、一連のビットがあり、ビットが互いに独立しており、確率が XNUMX と XNUMX の間で等しいと仮定すると、エントロピーを簡単に測定できます。問題ありません。 しかし、あなたの元に来るものが高次元のベクトルである場合、データ フレームなどのようなものであるとすれば、 Pi? 分布は何ですか？ まず、高次元の連続空間であるその空間を量子化する必要があります。 これを適切に量子化する方法がわかりません。 k-means などを使用できます。これは、ビデオ圧縮や画像圧縮を行うときに人々が行うことです。 しかし、それはあくまでも概算です。 そして、独立性を仮定する必要があります。 したがって、ビデオでは、連続するフレームが独立していないことは明らかです。 依存関係があり、そのフレームは、XNUMX 時間前に見た別のフレーム (同じものの写真) に依存している可能性があります。 つまり、測定はできません Pi. 測定する Pi、予測を学習する機械学習システムが必要です。 そして、前の問題に戻ります。 したがって、本質的に情報の尺度を概算することしかできません。 

もっと具体的な例を挙げましょう。 私たちが遊んできたアルゴリズムの XNUMX つは、VICReg と呼ばれる分散不変性共分散正則化です。 それはICLRで発表された別の論文にあり、 arXivに上げました 約 2021 年前、XNUMX 年。そしてそこにあるアイデアは、情報を最大化することです。 このアイデアは実際には私のグループによる以前の論文から生まれました バーロウ・ツインズ. 基本的に、変数間の唯一の依存関係が相関、線形依存関係であると仮定することによって、ニューラル ネットから出てくるベクトルの情報量を最大化します。 したがって、変数のペア間、またはシステム内の変数間で可能な唯一の依存関係が、貴重なもののペア間の相関関係であると仮定すると、これは非常に大まかな概算であり、システムから出てくる情報コンテンツを最大化できます。すべての変数の分散が XNUMX でないことを確認します — たとえば、分散 XNUMX としましょう。それが何であるかは問題ではありません — そしてそれらを逆相関させます。これはホワイトニングと呼ばれる同じプロセスですが、これも新しいものではありません。 これに関する問題は、変数のグループ間、または線形依存関係ではない変数のペアの間でさえ、非常に複雑な依存関係を持つことができ、それらが相関関係に現れないことです。 たとえば、XNUMX つの変数があり、それら XNUMX つの変数のすべてのポイントがある種のらせん状に並んでいる場合、これら XNUMX つの変数の間には非常に強い依存関係がありますよね? しかし実際には、これら XNUMX つの変数間の相関を計算すると、それらは相関していません。 これは、これら XNUMX つの変数の情報内容が実際には非常に小さい例です。これは、スパイラル内の位置であるため、XNUMX つの量にすぎません。 それらは無相関であるため、これらの XNUMX つの変数から多くの情報が得られていると思いますが、実際にはそうではありません。基本的に、変数の XNUMX つを他の変数から予測することしかできません。 これは、情報コンテンツを測定するための非常に大まかな方法​​しかないことを示しています。

ZDNet： それで、それはあなたが今これに取り組まなければならないことのXNUMXつですか? これは、情報コンテンツを最大化および最小化しているときをどのように知ることができるかという、より大きな問題です。

YL:  または、これに使用しているプロキシが、必要なタスクに十分に適しているかどうか。 実際、機械学習では常にこれを行っています。 最小化するコスト関数は、実際に最小化したいものではありません。 たとえば、分類を行いたいとしますね。 分類器をトレーニングするときに最小限に抑えたいコスト関数は、分類器が犯している間違いの数です。 しかし、これは微分不可能で恐ろしいコスト関数であり、ニューラル ネットワークの重みを変更することがわかっているため、最小化することはできません。これらのサンプルの XNUMX つが決定を反転し、ジャンプするまで何も変更されません。エラーで、正または負。

ZDNet： つまり、確実に言うことができる目的関数であるプロキシがあり、このことの勾配を確実に流すことができます。

YL: それは正しい。 人々はクロスエントロピー損失、または SOFTMAX を使用します。いくつかの名前がありますが、同じものです。 そして、それは基本的に、システムが作るエラー数の滑らかな概算であり、基本的に、システムが各カテゴリに与えるスコアを考慮して、平滑化が行われます。

ZDNet： まだカバーしていないもので、カバーしたいものはありますか?

YL: 要点を強調しているのかもしれません。 AI システムは推論できる必要があると思います。私が提唱しているこのプロセスは、潜在変数に関して何らかの目的を最小化することです。 これにより、システムは計画と推論を行うことができます。 高次元の連続変数間の依存関係を取得するなどのことをしたい場合、確率論的フレームワークは扱いにくいため、確率論的フレームワークを放棄する必要があると思います。 また、生成モデルを放棄することを提唱しています。システムは、予測が難しすぎてリソースを消費しすぎる可能性があるものを予測するために、あまりにも多くのリソースを費やさなければならなくなるからです。 そして、それはほとんどそれです。 必要に応じて、それが主なメッセージです。 次に、全体的なアーキテクチャです。 次に、意識の性質と構成者の役割についての推測がありますが、これは実際には推測です。

ZDNet： 次回はそれについて説明します。 質問しようと思っていたのですが、このことをどのようにベンチマークしますか? しかし、あなたは今、ベンチマークから少し離れていると思いますか?

YL: 必ずしもそれほど遠くない、一種の単純化されたバージョン。 制御学習や強化学習で誰もが行っていることを行うことができます。つまり、Atari ゲームやそのようなもの、または不確実性が含まれる他のゲームをプレイするように訓練することができます。

ZDNet： 時間をありがとう、ヤン。