LeCun، استاد هوش مصنوعی متا: بیشتر رویکردهای هوش مصنوعی امروزی هرگز به هوش واقعی منتهی نمی‌شوند

ZDNet: ما می گوییم فراتر از افق سرمایه گذاری اکثر سرمایه گذاران.

YL: درست است. بنابراین، سوال این است که آیا قبل از اینکه عملکرد به سطح مطلوب برسد، صبر و حوصله افراد را از دست می دهند یا پولشان تمام می شود؟

ZDNet: آیا چیز جالبی برای گفتن وجود دارد که چرا برخی از عناصری را که در مدل انتخاب کرده اید انتخاب کرده اید؟ چون شما به کنت کریک [1943،ماهیت توضیح]، و شما برایسون و هو [1969، اعمال کنترل بهینه]، و من کنجکاو هستم که چرا شما با این تأثیرات شروع کردید، اگر به ویژه معتقد بودید که این افراد آن را تا جایی که انجام داده بودند، میخکوب کردند. چرا از آنجا شروع کردید؟

YL: خب، من فکر نمی‌کنم، مطمئناً، آنها تمام جزئیات را میخکوب کرده بودند. بنابراین، برایسون و هو، این کتابی است که در سال 1987 زمانی که با جفری هینتون در تورنتو فوق دکترا بودم، خواندم. اما من از قبل زمانی که دکترای خود را می نوشتم از این رشته کار می دانستم و اساساً ارتباط بین کنترل بهینه و پشتیبان را ایجاد کردم. اگر واقعاً می‌خواستید، می‌دانید، یکی دیگر از اشمیدوبر باشید، می‌گفتید که مخترعان واقعی backprop در واقع نظریه‌پردازان کنترل بهینه هنری جی. کلی، آرتور برایسون، و شاید حتی لو پونتریاگین، که یک نظریه‌پرداز روسی کنترل بهینه است، بودند. در اواخر دهه 50 

بنابراین، آنها آن را کشف کردند، و در واقع، شما در واقع می توانید ریشه این را ببینید، ریاضیات زیر آن، مکانیک لاگرانژی است. بنابراین می‌توانید در واقع به اویلر و لاگرانژ برگردید و در تعریف مکانیک کلاسیک لاگرانژی واقعاً بویی از این را بیابید. بنابراین، در زمینه کنترل بهینه، چیزی که این افراد به آن علاقه داشتند اساساً محاسبه مسیرهای موشکی بود. می دانید، این دوران اولیه فضا بود. و اگر مدلی از موشک دارید، به شما می گوید که در اینجا وضعیت موشک در آن زمان است t، و در اینجا اقدامی است که من می خواهم انجام دهم، بنابراین، رانش و محرک انواع مختلف، در اینجا وضعیت موشک در آن زمان است. t + 1.

ZDNet: یک مدل اقدام دولت، یک مدل ارزش.

YL: درست است، اساس کنترل. بنابراین، اکنون می توانید با تصور دنباله ای از دستورات، شلیک موشک خود را شبیه سازی کنید و سپس مقداری تابع هزینه دارید، که فاصله موشک تا هدف، ایستگاه فضایی یا هر چیز دیگری است. و سپس با نوعی نزول گرادیان، می توانید بفهمید که چگونه می توانم دنباله اقدامات خود را به روز کنم تا موشک من در واقع تا حد امکان به هدف نزدیک شود. و این باید با انتشار سیگنال های معکوس در زمان انجام شود. و این انتشار به عقب، پس انتشار گرادیان است. این سیگنال‌ها، در مکانیک لاگرانژی متغیرهای مزدوج نامیده می‌شوند، اما در واقع، آنها گرادیان هستند. بنابراین، آنها پشتیبان را اختراع کردند، اما متوجه نشدند که این اصل می تواند برای آموزش یک سیستم چند مرحله ای استفاده شود که می تواند تشخیص الگو یا چیزی شبیه به آن را انجام دهد. شاید تا اواخر دهه 70، اوایل دهه 80، این واقعاً محقق نشد و پس از آن تا اواسط دهه 80 عملاً اجرا نشد و به کار نیفتاد. بسیار خوب، پس، این همان جایی است که backprop واقعاً شروع شد، زیرا مردم در اینجا چند خط کد را نشان دادند که می‌توانید یک شبکه عصبی، سرتاسر، چند لایه را آموزش دهید. و این محدودیت های Perceptron را برطرف می کند. و، بله، ارتباطاتی با کنترل بهینه وجود دارد، اما اشکالی ندارد.

ZDNet: بنابراین، این راه طولانی برای گفتن این موضوع است که این تأثیراتی که شما با آن شروع کردید به پشتوانه بازگشته بودند، و این به عنوان نقطه شروع برای شما مهم بود؟

YL: بله، اما فکر می‌کنم چیزی که مردم کمی آن را فراموش کردند، در دهه 90 یا حتی دهه 80 روی این موضوع کار زیادی انجام شد، از جمله توسط افرادی مانند مایکل جردن [بخش مغز MIT و علوم شناختی] و افرادی مانند آن که دیگر شبکه های عصبی را انجام نمی دهند، بلکه این ایده که می توان از شبکه های عصبی برای کنترل استفاده کرد و می توان از ایده های کلاسیک کنترل بهینه استفاده کرد. بنابراین، چیزهایی مانند آنچه که به آن کنترل پیش بینی مدل می گویند، آنچه که اکنون کنترل پیش بینی مدل نامیده می شود، این ایده که اگر مدل خوبی از سیستمی دارید که می خواهید کنترل کنید، می توانید نتیجه یک دنباله از اقدامات را شبیه سازی کنید یا تصور کنید. و محیطی که در آن قرار دارد. و سپس با نزول گرادیان، اساسا - این یادگیری نیست، این استنتاج است - شما می توانید بفهمید که بهترین توالی اقداماتی که هدف من را به حداقل می رساند چیست. بنابراین، استفاده از یک تابع هزینه با یک متغیر پنهان برای استنتاج، به نظر من، چیزی است که محصولات فعلی شبکه های عصبی در مقیاس بزرگ آن را فراموش کرده اند. اما این یک جزء بسیار کلاسیک از یادگیری ماشین برای مدت طولانی بود. بنابراین، هر شبکه بیزی یا مدل گرافیکی یا مدل گرافیکی احتمالی از این نوع استنتاج استفاده می کرد. شما یک مدل دارید که وابستگی‌های بین دسته‌ای از متغیرها را نشان می‌دهد، مقدار برخی از متغیرها به شما گفته می‌شود، و سپس باید محتمل‌ترین مقدار بقیه متغیرها را استنتاج کنید. این اصل اساسی استنتاج در مدل های گرافیکی و شبکه های بیزی و مواردی از این دست است. و من فکر می کنم که اساساً این همان چیزی است که استدلال باید درباره آن باشد، استدلال و برنامه ریزی.

ZDNet: تو یک بیزی کمد هستی

YL: من یک بیزی غیر احتمالی هستم. من اون شوخی رو قبلا کردم من در واقع چند سال پیش در NeurIPS بودم، فکر می‌کنم در سال 2018 یا 2019 بود، و توسط یک بیزی از من در ویدیو گرفتار شد که از من پرسید که آیا من بیزی هستم، و من گفتم، بله، من یک بیزی هستم، اما من اگر بخواهید، من یک بیزی غیر احتمالی، نوعی بیزی مبتنی بر انرژی هستم. 

ZDNet: که قطعا شبیه چیزی از آن به نظر می رسد پیشتازان فضا. شما در پایان این مقاله اشاره کردید، برای تحقق بخشیدن به آنچه تصور می‌کنید، سال‌ها کار واقعاً سخت طول می‌کشد. به من بگویید که برخی از آن کار در حال حاضر شامل چه مواردی است.

YL: بنابراین، من نحوه آموزش و ساختن JEPA را در مقاله توضیح می دهم. و معیاری که من از آن دفاع می کنم، داشتن راهی برای به حداکثر رساندن محتوای اطلاعاتی است که بازنمایی هایی که استخراج می شوند در مورد ورودی دارند. و سپس مورد دوم به حداقل رساندن خطای پیش بینی است. و اگر یک متغیر پنهان در پیش بینی دارید که به پیش بینی کننده اجازه می دهد قطعی نباشد، باید این متغیر پنهان را با به حداقل رساندن محتوای اطلاعاتی آن منظم کنید. بنابراین، شما در حال حاضر دو مسئله دارید، این است که چگونه محتوای اطلاعاتی خروجی یک شبکه عصبی را به حداکثر می‌رسانید، و دیگری این که چگونه محتوای اطلاعاتی یک متغیر پنهان را به حداقل می‌رسانید؟ و اگر این دو کار را انجام ندهید، سیستم فرو خواهد ریخت. چیز جالبی یاد نخواهد گرفت. به همه چیز انرژی صفر می دهد، چیزی شبیه به آن، که مدل خوبی برای وابستگی نیست. این مشکل پیشگیری از فروپاشی است که به آن اشاره می کنم. 

و من می گویم از تمام کارهایی که مردم تا به حال انجام داده اند، تنها دو دسته روش برای جلوگیری از فروپاشی وجود دارد. یکی روش های متضاد و دیگری روش های منظم شده است. بنابراین، این ایده برای به حداکثر رساندن محتوای اطلاعاتی بازنمایی دو ورودی و به حداقل رساندن محتوای اطلاعاتی متغیر پنهان، متعلق به روش‌های منظم شده است. اما بسیاری از کارها در این معماری های تعبیه مشترک از روش های کنتراست استفاده می کنند. در واقع، آنها احتمالاً در حال حاضر محبوب ترین هستند. بنابراین، سؤال این است که دقیقاً چگونه محتوای اطلاعاتی را به گونه‌ای اندازه‌گیری می‌کنید که بتوانید آن را بهینه یا به حداقل برسانید؟ و اینجاست که همه چیز پیچیده می شود زیرا ما نمی دانیم چگونه محتوای اطلاعاتی را اندازه گیری کنیم. ما می‌توانیم آن را تقریبی کنیم، می‌توانیم آن را به کران بالا برسانیم، می‌توانیم چنین کارهایی را انجام دهیم. اما آنها در واقع محتوای اطلاعاتی را اندازه گیری نمی کنند، که در واقع تا حدی حتی به خوبی تعریف نشده است.

ZDNet: این قانون شانون نیست؟ این تئوری اطلاعات نیست؟ شما مقدار مشخصی از آنتروپی، آنتروپی خوب و آنتروپی بد دارید، و آنتروپی خوب یک سیستم نمادی است که کار می کند، آنتروپی بد نویز است. آیا همه چیز توسط شانون حل نشده است؟

YL: حق با شماست، اما یک نقص بزرگ در پشت آن وجود دارد. حق با شماست از این نظر که اگر داده‌هایی دارید که به سمت شما می‌آیند و می‌توانید به نحوی داده‌ها را به نمادهای گسسته تبدیل کنید، و سپس احتمال هر یک از آن نمادها را اندازه‌گیری کنید، حداکثر مقدار اطلاعاتی که توسط آن نمادها منتقل می‌شود جمع بیش از نمادهای ممکن از پای لاگ پی، درست؟ جایی که Pi احتمال نماد است من - آنتروپی شانون است. [قانون شانون معمولاً به صورت H = – ∑ pi log pi فرموله می شود.]

اما مشکل اینجاست: چیست Pi? وقتی تعداد نمادها کم باشد و نمادها به طور مستقل ترسیم شوند، آسان است. وقتی نمادها و وابستگی های زیادی وجود دارد، بسیار سخت است. بنابراین، اگر دنباله ای از بیت ها دارید و بیت ها را مستقل از یکدیگر فرض می کنید و احتمال آن ها بین یک و صفر یا هر چیز دیگری برابر است، می توانید به راحتی آنتروپی را اندازه گیری کنید، مشکلی نیست. اما اگر چیزهایی که به سراغ شما می آیند بردارهایی با ابعاد بالا هستند، مانند، می دانید، فریم های داده یا چیزی شبیه به این، چیست؟ Pi? توزیع چیست؟ ابتدا باید آن فضا را که فضایی با ابعاد بالا و پیوسته است، کمی کنید. شما هیچ ایده ای ندارید که چگونه این را به درستی اندازه گیری کنید. شما می توانید از k-means و غیره استفاده کنید. این کاری است که افراد هنگام فشرده سازی ویدیو و فشرده سازی تصویر انجام می دهند. اما این فقط یک تقریب است. و سپس شما باید فرضیات استقلال را بسازید. بنابراین، واضح است که در یک ویدیو، فریم های متوالی مستقل نیستند. وابستگی هایی وجود دارد، و آن فریم ممکن است به فریم دیگری بستگی داشته باشد که یک ساعت پیش دیدید، که تصویری از همان چیز بود. بنابراین، می دانید، نمی توانید اندازه گیری کنید Pi. اندازه گرفتن Pi، شما باید یک سیستم یادگیری ماشینی داشته باشید که پیش بینی را بیاموزد. و بنابراین شما به مشکل قبلی برگشتید. بنابراین، اساساً فقط می‌توانید اندازه‌گیری اطلاعات را تقریبی کنید. 

بگذارید مثال ملموس‌تری بزنم. یکی از الگوریتم‌هایی که با آن بازی کرده‌ایم و در قطعه درباره آن صحبت کرده‌ام، این چیزی است که VICReg نامیده می‌شود، واریانس-ناواریانس-کوواریانس منظم‌سازی. این در یک مقاله جداگانه است که در ICLR منتشر شده است، و روی arXiv قرار گرفت حدود یک سال قبل از آن، سال 2021. و ایده این است که اطلاعات را به حداکثر برسانیم. و این ایده در واقع از مقاله قبلی گروه من به نام به وجود آمد دوقلوهای بارلو. اساساً با این فرض که تنها وابستگی بین متغیرها همبستگی و وابستگی خطی است، محتوای اطلاعاتی یک بردار را که از یک شبکه عصبی خارج می‌شود، به حداکثر می‌رسانید. بنابراین، اگر فرض کنید که تنها وابستگی که بین جفت متغیرها، یا بین متغیرهای سیستم شما امکان پذیر است، همبستگی بین جفت اشیاء با ارزش است، که تقریب بسیار خشن است، در این صورت می توانید محتوای اطلاعاتی که از سیستم شما خارج می شود را به حداکثر برسانید. با اطمینان از اینکه همه متغیرها دارای واریانس غیر صفر هستند - فرض کنید، واریانس یک، مهم نیست چیست - و سپس همبستگی مجدد آنها، همان فرآیندی که سفید کردن نامیده می شود، همچنین جدید نیست. مشکل این است که شما به خوبی می توانید وابستگی های بسیار پیچیده ای بین هر دو گروه از متغیرها یا حتی فقط جفت متغیرهایی داشته باشید که وابستگی خطی نیستند و در همبستگی ها نشان داده نمی شوند. بنابراین، برای مثال، اگر شما دو متغیر داشته باشید، و تمام نقاط آن دو متغیر در یک مارپیچ قرار گیرند، وابستگی بسیار قوی بین آن دو متغیر وجود دارد، درست است؟ اما در واقع، اگر همبستگی بین این دو متغیر را محاسبه کنید، آنها همبستگی ندارند. بنابراین، در اینجا یک مثال آورده شده است که در آن محتوای اطلاعاتی این دو متغیر در واقع بسیار کوچک است، این فقط یک کمیت است زیرا موقعیت شما در مارپیچ است. آنها همبستگی ندارند، بنابراین فکر می‌کنید اطلاعات زیادی از آن دو متغیر بیرون می‌آیند، در حالی که در واقع ندارید، می‌دانید، شما فقط می‌توانید اساساً یکی از متغیرها را از دیگری پیش‌بینی کنید. بنابراین، این نشان می دهد که ما فقط راه های بسیار تقریبی برای اندازه گیری محتوای اطلاعاتی داریم.

ZDNet: و بنابراین این یکی از چیزهایی است که اکنون باید روی آن کار کنید؟ این سوال بزرگتر است که چگونه بفهمیم که محتوای اطلاعاتی را به حداکثر و حداقل میرسانیم؟

YL:  یا اینکه آیا پروکسی که برای این کار استفاده می کنیم به اندازه کافی برای کاری که می خواهیم خوب است. در واقع، ما این کار را همیشه در یادگیری ماشین انجام می دهیم. توابع هزینه ای که ما به حداقل می رسانیم هرگز آنهایی نیستند که در واقع می خواهیم به حداقل برسانیم. بنابراین، برای مثال، شما می خواهید طبقه بندی انجام دهید، خوب؟ تابع هزینه ای که می خواهید هنگام آموزش یک طبقه بندی کننده به حداقل برسانید، تعداد اشتباهاتی است که طبقه بندی کننده انجام می دهد. اما این یک تابع هزینه غیرقابل تمایز و وحشتناک است که نمی توانید آن را به حداقل برسانید زیرا می دانید که وزن شبکه عصبی خود را تغییر خواهید داد، تا زمانی که یکی از آن نمونه ها تصمیم خود را تغییر ندهد، چیزی تغییر نخواهد کرد، و سپس یک پرش در خطا، مثبت یا منفی.

ZDNet: بنابراین شما یک پروکسی دارید که یک تابع هدف است که قطعاً می توانید بگویید، ما قطعاً می توانیم گرادیان های این چیز را جریان دهیم.

YL: درست است. بنابراین مردم از این افت آنتروپی متقاطع یا SOFTMAX استفاده می کنند، شما چندین نام برای آن دارید، اما این یک چیز است. و اساساً یک تقریب هموار از تعداد خطاهایی است که سیستم انجام می دهد، جایی که هموارسازی اساساً با در نظر گرفتن امتیازی که سیستم به هر یک از دسته ها می دهد انجام می شود.

ZDNet: آیا چیزی وجود دارد که ما پوشش نداده ایم که شما بخواهید آن را پوشش دهید؟

YL: احتمالاً بر نکات اصلی تأکید دارد. من فکر می‌کنم سیستم‌های هوش مصنوعی باید بتوانند استدلال کنند، و فرآیندی که من از آن حمایت می‌کنم، به حداقل رساندن برخی از اهداف با توجه به متغیرهای پنهان است. که به سیستم ها اجازه می دهد تا برنامه ریزی و استدلال کنند. من فکر می‌کنم که باید چارچوب احتمالی را کنار بگذاریم، زیرا زمانی که می‌خواهیم کارهایی مانند گرفتن وابستگی‌ها بین متغیرهای با ابعاد بالا و پیوسته انجام دهیم، غیرقابل حل است. و من از کنار گذاشتن مدل‌های مولد دفاع می‌کنم زیرا سیستم باید منابع زیادی را به پیش‌بینی چیزهایی اختصاص دهد که پیش‌بینی آن‌ها بسیار دشوار است و ممکن است منابع زیادی مصرف کنند. و تقریباً همین است. اگر بخواهید این پیام های اصلی است. و سپس معماری کلی. سپس آن گمانه‌زنی‌ها درباره ماهیت آگاهی و نقش پیکربندی‌کننده وجود دارد، اما این واقعاً حدس و گمان است.

ZDNet: دفعه بعد به آن خواهیم رسید. می خواستم از شما بپرسم که چگونه این موضوع را محک می زنید؟ اما من حدس می‌زنم که در حال حاضر کمی دورتر از محک زدن هستید؟

YL: نه لزوماً آنقدرها در نسخه های ساده شده. شما می‌توانید کاری را که همه در یادگیری کنترلی یا تقویتی انجام می‌دهند، انجام دهید، یعنی چیزی را برای انجام بازی‌های Atari یا چیزی شبیه به آن یا بازی دیگری که در آن مقداری عدم قطعیت وجود دارد، آموزش دهید.

ZDNet: ممنون از وقتی که گذاشتی، یان.