Meta'nın AI gurusu LeCun: Günümüzün AI yaklaşımlarının çoğu asla gerçek zekaya yol açmayacak

ZDNet: Çoğu yatırımcının yatırım ufkunun ötesinde diyoruz.

-YL: Doğru. Yani soru şu ki, performans istenen seviyeye ulaşmadan insanlar sabrını kaybedecek veya paraları bitecek mi?

ZDNet: Modelde seçtiğiniz bazı unsurları neden seçtiğinizle ilgili söylenecek ilginç bir şey var mı? Kenneth Craik'ten alıntı yaptığınız için [1943,Açıklamanın Doğası] ve Bryson ve Ho'dan [1969, Uygulanan optimal kontrol] ve özellikle bu insanların bunu yaptıklarına kadar çivilediğine inanıyorsanız, neden bu etkilerle başladığınızı merak ediyorum. Neden orada başladın?

-YL: Şey, kesinlikle tüm detayları çivilediklerini sanmıyorum. Bryson ve Ho, bu, 1987'de Toronto'da Geoffrey Hinton ile doktora sonrası doktora yaparken okuduğum bir kitap. Ancak doktoramı yazarken bu işi önceden biliyordum ve optimal kontrol ile backprop arasında esasen bağlantı kurdum. Eğer gerçekten başka bir Schmidhuber olmak isteseydiniz, backprop'un gerçek mucitlerinin aslında optimal kontrol teorisyenleri Henry J. Kelley, Arthur Bryson ve hatta belki de bir Rus optimal geri kontrol teorisyeni olan Lev Pontryagin olduğunu söylerdiniz. 50'lerin sonlarında. 

Bunu anladılar ve aslında bunun kökünü görebilirsiniz, bunun altındaki matematik Lagrange mekaniğidir. Aslında Euler ve Lagrange'a geri dönebilirsiniz ve aslında Lagrange klasik mekaniği tanımlarında bunun bir kokusunu bulabilirsiniz. Yani, optimal kontrol bağlamında, bu adamların ilgilendiği şey temelde roket yörüngelerini hesaplamaktı. Biliyorsunuz, bu erken uzay çağıydı. Ve roketin bir modeliniz varsa, size burada roketin o andaki durumu olduğunu söyler. t, ve işte yapacağım eylem, yani, çeşitli türlerde itme ve aktüatörler, işte roketin o andaki durumu t + 1.

ZDNet: Bir durum-eylem modeli, bir değer modeli.

-YL: Bu doğru, kontrolün temeli. Böylece, şimdi bir dizi komut hayal ederek roketinizin atışını simüle edebilirsiniz ve sonra roketin hedefine, bir uzay istasyonuna veya her neyse, uzaklığı olan bir maliyet fonksiyonuna sahip olursunuz. Ve sonra bir çeşit eğimli inişle, roketimin hedefe mümkün olduğunca yaklaşması için hareket sıramı nasıl güncelleyebilirim, çözebilirsiniz. Ve bu, zamanda geriye doğru yayılan sinyallerle gelmelidir. Ve bu geri yayılım, gradyan geri yayılım. Bu sinyallere Lagrange mekaniğinde eşlenik değişkenler denir, ama aslında onlar gradyanlardır. Bu yüzden backprop'u icat ettiler, ancak bu prensibin örüntü tanıma veya benzeri bir şey yapabilen çok aşamalı bir sistemi eğitmek için kullanılabileceğini anlamadılar. Bu, belki 70'lerin sonlarına, 80'lerin başlarına kadar gerçekten fark edilmedi ve daha sonra fiilen uygulanmadı ve 80'lerin ortalarına kadar işe yaramadı. Tamam, işte bu, backprop'un gerçekten, bir nevi, başladığı yer çünkü insanlar burada bir sinir ağını uçtan uca, çok katmanlı eğitebileceğiniz birkaç satır kod gösterdi. Bu da Perceptron'un sınırlarını kaldırıyor. Ve evet, optimal kontrole sahip bağlantılar var, ama sorun değil.

ZDNet: Yani, başladığınız bu etkilerin backprop'a geri döndüğünü söylemenin uzun bir yolu ve bu sizin için bir başlangıç ​​noktası olarak önemli miydi?

-YL: Evet, ama bence insanların biraz unuttuğu şey, bu konuda epeyce çalışma vardı, bilirsiniz, 90'larda, hatta 80'lerde, Michael Jordan [MIT Dept. of Brain] gibi insanlar da dahil. ve Bilişsel Bilimler] ve artık sinir ağları yapmayan bunun gibi insanlar, ama sinir ağlarını kontrol için kullanabileceğiniz fikri ve klasik optimal kontrol fikirlerini kullanabilirsiniz. Yani, model kestirimci kontrol denen şey, şimdi model kestirimli kontrol denen şey gibi şeyler, kontrol etmeye çalıştığınız sistemin iyi bir modeline sahipseniz, bir dizi eylemin sonucunu simüle edebileceğiniz veya hayal edebileceğiniz bu fikir. ve içinde bulunduğu ortam. Ve sonra gradyan inişiyle, esasen - bu öğrenme değil, bu çıkarımdır - amacımı en aza indirecek en iyi eylem dizisinin ne olduğunu anlayabilirsiniz. Dolayısıyla, çıkarım için gizli değişkenli bir maliyet fonksiyonunun kullanılması, bence, büyük ölçekli sinir ağlarının mevcut ekinlerinin unuttuğu bir şey. Ancak uzun süre makine öğreniminin çok klasik bir bileşeniydi. Bu nedenle, her Bayesian Net veya grafiksel model veya olasılıksal grafik model bu tür bir çıkarımı kullandı. Bir grup değişken arasındaki bağımlılıkları yakalayan bir modeliniz var, size bazı değişkenlerin değeri söyleniyor ve ardından geri kalan değişkenlerin en olası değerini çıkarmanız gerekiyor. Bu, grafik modellerde ve Bayes Ağlarında ve bunun gibi şeylerde çıkarımın temel ilkesidir. Ve bence temel olarak akıl yürütme, akıl yürütme ve planlama hakkında olmalıdır.

ZDNet: Sen bir dolap Bayes'sin.

-YL: Ben olasılıkçı olmayan bir Bayesciyim. Bu şakayı daha önce yapmıştım. Aslında birkaç yıl önce NeurIPS'deydim, sanırım 2018 veya 2019'daydı ve bana Bayesçi olup olmadığımı soran bir Bayesçi tarafından videoya yakalandım ve evet, ben bir Bayesçiyim ama dedim ki İsterseniz, olasılıkçı olmayan bir Bayesçiyim, bir nevi, enerji tabanlı bir Bayesçiyim. 

ZDNet: Hangi kesinlikle bir şey gibi geliyor Star Trek. Bu makalenin sonunda bahsetmiştiniz, hayal ettiğiniz şeyi gerçekleştirmek gerçekten çok uzun yıllar alacak. Bana şu anda bu çalışmaların bir kısmının nelerden oluştuğunu anlat.

-YL: Bu yüzden, JEPA'yı nasıl eğiteceğinizi ve oluşturacağınızı makalede açıklıyorum. Ve savunduğum kriter, çıkarılan temsillerin girdi hakkında sahip olduğu bilgi içeriğini en üst düzeye çıkarmanın bir yolunu bulmaktır. Ve ikincisi, tahmin hatasını en aza indiriyor. Ve tahmin edicide, tahmin edicinin deterministik olmamasına izin veren bir gizli değişkeniniz varsa, bilgi içeriğini en aza indirerek bu gizli değişkeni de düzenlemeniz gerekir. Yani, şimdi iki sorununuz var, bu, bazı sinir ağlarının çıktısının bilgi içeriğini nasıl en üst düzeye çıkarırsınız, diğeri ise bazı gizli değişkenlerin bilgi içeriğini nasıl en aza indirirsiniz? Ve bu iki şeyi yapmazsanız, sistem çökecektir. İlginç bir şey öğrenmeyecek. Her şeye sıfır enerji verecek, bunun gibi iyi bir bağımlılık modeli değil. Bahsettiğim çöküş önleme sorunu. 

Ve insanların şimdiye kadar yaptığı onca şey için söylüyorum, çöküşü önlemek için sadece iki kategoride yöntem var. Biri karşılaştırmalı yöntemler, diğeri ise düzenlileştirilmiş yöntemlerdir. Böylece, iki girdinin temsillerinin bilgi içeriğini maksimize etme ve gizli değişkenin bilgi içeriğini minimize etme fikri, düzenli yöntemlere aittir. Ancak bu ortak gömme mimarilerindeki çalışmaların çoğu, karşıt yöntemler kullanıyor. Aslında, muhtemelen şu anda en popülerler. Öyleyse soru, bilgi içeriğini optimize edebileceğiniz veya en aza indirebileceğiniz şekilde tam olarak nasıl ölçeceğinizdir? İşte bu noktada işler karmaşıklaşıyor çünkü bilgi içeriğini nasıl ölçeceğimizi gerçekten bilmiyoruz. Yaklaşabiliriz, üst sınır yapabiliriz, bunun gibi şeyler yapabiliriz. Ancak aslında bir dereceye kadar iyi tanımlanmamış olan bilgi içeriğini gerçekten ölçmüyorlar.

ZDNet: Bu Shannon Yasası değil mi? Bilgi teorisi değil mi? Belli bir miktarda entropi, iyi entropi ve kötü entropi var ve iyi entropi çalışan bir sembol sistemidir, kötü entropi gürültüdür. Her şey Shannon tarafından çözülmedi mi?

-YL: Haklısın, ama bunun arkasında büyük bir kusur var. Size gelen veriler varsa ve verileri bir şekilde ayrık semboller halinde nicelleştirebilirseniz ve sonra bu sembollerin her birinin olasılığını ölçerseniz, o zaman bu semboller tarafından taşınan maksimum bilgi miktarı şu anlama gelir: olası sembollerin toplamı Pi günlüğü Pi, Sağ? Neresi Pi sembolün olasılığıdır ben - bu Shannon entropisi. [Shannon Yasası genel olarak H = – ∑ pi log pi olarak formüle edilir.]

Yine de sorun şu: Nedir? Pi? Sembol sayısı az olduğunda ve semboller bağımsız olarak çizildiğinde kolaydır. Birçok sembol ve bağımlılık olduğunda, çok zordur. Yani, bir bit diziniz varsa ve bitlerin birbirinden bağımsız olduğunu ve olasılığın bir ile sıfır arasında veya her neyse eşit olduğunu varsayarsanız, o zaman entropiyi kolayca ölçebilirsiniz, sorun değil. Ama size gelen şeyler yüksek boyutlu vektörlerse, bilirsiniz, veri çerçeveleri veya bunun gibi bir şeyse, nedir? Pi? Dağıtım nedir? İlk önce, yüksek boyutlu, sürekli bir uzay olan o uzayı nicelemeniz gerekir. Bunu nasıl doğru bir şekilde ölçeceğiniz hakkında hiçbir fikriniz yok. K-araçlarını vb. kullanabilirsiniz. İnsanlar video sıkıştırma ve görüntü sıkıştırma yaptıklarında bunu yaparlar. Ama bu sadece bir tahmin. Ve sonra bağımsızlık varsayımları yapmak zorundasın. Dolayısıyla, bir videoda ardışık karelerin bağımsız olmadığı açıktır. Bağımlılıklar vardır ve bu çerçeve, bir saat önce gördüğünüz, aynı şeyin resmi olan başka bir çerçeveye bağlı olabilir. Yani, biliyorsun, ölçemezsin Pi. Ölçmek Pi, tahmin etmeyi öğrenen bir makine öğrenme sistemine sahip olmalısınız. Ve böylece önceki soruna geri döndünüz. Bu nedenle, bilgi ölçüsünü yalnızca yaklaşık olarak tahmin edebilirsiniz. 

Daha somut bir örnek vereyim. Üzerinde çalıştığımız ve parçada bahsettiğim algoritmalardan biri, VICReg, varyans-invaryans-kovaryans düzenlemesi denen şey. ICLR'de yayınlanan ayrı bir makalede ve arXiv'e konuldu yaklaşık bir yıl önce, 2021. Ve buradaki fikir, bilgiyi en üst düzeye çıkarmaktır. Ve fikir aslında grubumun daha önceki bir makalesinden çıktı. barlow ikizler. Temel olarak, değişkenler arasındaki tek bağımlılığın korelasyon, doğrusal bağımlılık olduğunu varsayarak, bir sinir ağından çıkan bir vektörün bilgi içeriğini en üst düzeye çıkarırsınız. Dolayısıyla, değişken çiftleri arasında veya sisteminizdeki değişkenler arasında mümkün olan tek bağımlılığın, son derece kaba bir yaklaşım olan değerli çiftler arasındaki korelasyonlar olduğunu varsayarsanız, sisteminizden çıkan bilgi içeriğini en üst düzeye çıkarabilirsiniz. tüm değişkenlerin sıfır olmayan bir varyansa sahip olduğundan emin olarak - diyelim ki varyans bir, ne olduğu önemli değil - ve sonra onları geri ilişkilendirerek, beyazlatma adı verilen aynı süreç, bu da yeni değil. Bununla ilgili sorun, her iki değişken grubu arasında veya hatta yalnızca doğrusal bağımlılık olmayan değişken çiftleri arasında son derece karmaşık bağımlılıklara sahip olabilmenizdir ve bunlar korelasyonlarda görünmezler. Örneğin, iki değişkeniniz varsa ve bu iki değişkenin tüm noktaları bir tür spiral şeklinde sıralanıyorsa, bu iki değişken arasında çok güçlü bir bağımlılık vardır, değil mi? Ama aslında, bu iki değişken arasındaki korelasyonu hesaplarsanız, bunlar korelasyonlu değildir. İşte bu iki değişkenin bilgi içeriğinin aslında çok küçük olduğu bir örnek, bu sadece bir nicelik çünkü o sizin spiraldeki konumunuz. Korelasyonsuzdurlar, bu yüzden bu iki değişkenden çıkan çok fazla bilgiye sahip olduğunuzu düşünürsünüz, oysa aslında yoktur, sadece, bilirsiniz, esasen değişkenlerden birini diğerinden tahmin edebilirsiniz. Bu, bilgi içeriğini ölçmek için yalnızca çok yaklaşık yollara sahip olduğumuzu gösteriyor.

ZDNet: Ve şimdi bununla üzerinde çalışman gereken şeylerden biri bu mu? Bu, bilgi içeriğini en üst düzeye çıkardığımızı ve en aza indirdiğimizi nasıl bileceğimize ilişkin daha büyük sorudur?

-YL:  Veya bunun için kullandığımız proxy'nin istediğimiz görev için yeterince iyi olup olmadığı. Aslında bunu makine öğreniminde her zaman yapıyoruz. Küçülttüğümüz maliyet fonksiyonları asla gerçekten minimize etmek istediklerimiz değildir. Örneğin, sınıflandırma yapmak istiyorsunuz, tamam mı? Bir sınıflandırıcıyı eğitirken en aza indirmek istediğiniz maliyet fonksiyonu, sınıflandırıcının yaptığı hataların sayısıdır. Ama bu, türevlenemez, korkunç bir maliyet fonksiyonudur, en aza indiremezsiniz çünkü bilirsiniz ki sinir ağınızın ağırlıklarını değiştireceksiniz, bu örneklerden biri kararını değiştirene kadar hiçbir şey değişmeyecek ve sonra bir sıçrama. hatada, olumlu veya olumsuz.

ZDNet: Yani kesinlikle diyebileceğiniz bir nesnel fonksiyon olan bir vekiliniz var, kesinlikle bu şeyin gradyanlarını akıtabiliriz.

-YL: Doğru. İnsanlar bu çapraz entropi kaybını veya SOFTMAX'ı kullanıyor, bunun için birkaç adınız var, ama aynı şey. Ve temelde, sistemin her bir kategoriye verdiği puanı hesaba katarak, düzgünleştirmenin yapıldığı yerde, sistemin yaptığı hata sayısının düzgün bir tahminidir.

ZDNet: Örtmek istediğiniz bizim kapsamadığımız bir şey var mı?

-YL: Muhtemelen ana noktaları vurguluyor. AI sistemlerinin akıl yürütmeye ihtiyacı olduğunu düşünüyorum ve bunun için savunduğum süreç, bazı gizli değişkenlere göre bazı hedefleri en aza indirmektir. Bu, sistemlerin planlamasını ve akıl yürütmesini sağlar. Bence olasılık çerçevesini terk etmeliyiz, çünkü yüksek boyutlu, sürekli değişkenler arasındaki bağımlılıkları yakalamak gibi şeyler yapmak istediğimizde inatçıdır. Ve üretken modellerden vazgeçmeyi savunuyorum çünkü sistem tahmin edilmesi çok zor şeyleri tahmin etmek için çok fazla kaynak ayırmak zorunda kalacak ve belki de çok fazla kaynak tüketecek. Ve bu kadar. İsterseniz ana mesajlar bunlar. Ve sonra genel mimari. Sonra bilincin doğası ve yapılandırıcının rolü hakkında spekülasyonlar var, ama bu gerçekten spekülasyon.

ZDNet: Bir dahaki sefere buna geleceğiz. Size soracaktım, bu şeyi nasıl kıyaslarsınız? Ama sanırım şu anda kıyaslama yapmaktan biraz daha uzaktasın?

-YL: Mutlaka o kadar uzak, basitleştirilmiş sürümler değil. Kontrollü ya da pekiştirmeli öğrenmede herkesin yaptığını yapabilirsiniz, yani nesneyi Atari oyunları ya da buna benzer bir şey ya da içinde biraz belirsizlik olan başka bir oyun oynaması için eğitirsiniz.

ZDNet: Zaman ayırdığın için teşekkürler, Yann.