גורו ה-AI של Meta LeCun: רוב גישות ה-AI של היום לעולם לא יובילו לאינטליגנציה אמיתית

ZDNet: אנחנו אומרים מעבר לאופק ההשקעה של רוב המשקיעים.

YL: זה נכון. לכן, השאלה היא האם אנשים יאבדו סבלנות או ייגמר הכסף לפני שהביצועים יגיעו לרמה הרצויה.

ZDNet: האם יש משהו מעניין לומר על הסיבה שבחרת בחלק מהאלמנטים שבחרת בדגם? כי אתה מצטט את קנת קרייק [1943,אופי ההסבר], ואתה מצטט את בריסון והו [1969, הפעלת שליטה אופטימלית], ואני סקרן לדעת למה התחלת עם ההשפעות האלה, אם האמנת במיוחד שהאנשים האלה מצאו את זה עד כמה שהם עשו. למה התחלת שם?

YL: ובכן, אני לא חושב, בוודאי, הם נתנו את כל הפרטים. אז, בריסון והו, זה ספר שקראתי עוד ב-1987 כשהייתי פוסט דוקטורט עם ג'פרי הינטון בטורונטו. אבל ידעתי על תחום העבודה הזה מראש כשכתבתי את הדוקטורט שלי, ויצרתי את החיבור בין שליטה אופטימלית ותמיכה לאחור, בעצם. אם באמת רצית להיות, אתה יודע, עוד שמידהובר, היית אומר שהממציאים האמיתיים של התמיכה האחורית היו למעשה תיאורטיקנים של שליטה אופטימלית הנרי ג'יי קלי, ארתור בריסון ואולי אפילו לב פונטרייאגין, שהוא תיאורטיקן רוסי של שליטה אופטימלית בחזרה בסוף שנות ה-50. 

אז, הם הבינו את זה, ולמעשה, אתה באמת יכול לראות את השורש של זה, המתמטיקה שמתחת לזה, היא מכניקה לגראנז'ית. אז אתה יכול לחזור לאולר ולגרנז', למעשה, ולמצוא ריח של זה בהגדרה שלהם למכניקה הקלאסית של לגרנג', באמת. אז, בהקשר של שליטה אופטימלית, מה שהחבר'ה האלה התעניינו בו היה בעצם מחשוב מסלולי רקטות. אתה יודע, זה היה עידן החלל המוקדם. ואם יש לך דגם של הרקטה, זה אומר לך שהנה מצב הרקטה בזמן t, והנה הפעולה שאני הולך לעשות, אז, דחף ומפעילים מסוגים שונים, הנה מצב הרקטה בזמן t + 1.

ZDNet: מודל מדינה-פעולה, מודל ערכי.

YL: נכון, בסיס השליטה. אז, עכשיו אתה יכול לדמות את הירי של הרקטה שלך על ידי דימיון רצף של פקודות, ואז יש לך פונקציית עלות כלשהי, שהיא המרחק של הרקטה למטרה שלה, תחנת חלל או מה שזה לא יהיה. ואז באיזושהי ירידה בשיפוע, אתה יכול להבין איך אני יכול לעדכן את רצף הפעולה שלי כך שהטיל שלי באמת יתקרב כמה שיותר למטרה. וזה צריך לבוא על ידי הפצת אותות לאחור בזמן. וזהו התפשטות לאחור, התפשטות שיפוע לאחור. האותות האלה, הם נקראים משתנים מצומדים במכניקה של לגראנז'ה, אבל למעשה, הם שיפועים. אז, הם המציאו את התמיכה האחורית, אבל הם לא הבינו שאפשר להשתמש בעקרון הזה כדי לאמן מערכת רב-שלבית שיכולה לעשות זיהוי תבניות או משהו כזה. זה לא ממש התממש עד אולי בסוף שנות ה-70, תחילת שנות ה-80, ולאחר מכן לא יושם בפועל ונעשה לעבודה עד אמצע שנות ה-80. אוקיי, אז זה המקום שבו התמיכה האחורית באמת, בערך, המריא כי אנשים הראו כאן כמה שורות קוד שאפשר לאמן רשת עצבית, מקצה לקצה, רב-שכבתי. וזה מסיר את המגבלות של ה-Perceptron. וכן, יש קשרים עם שליטה אופטימלית, אבל זה בסדר.

ZDNet: אז, זו דרך ארוכה לומר שההשפעות האלה שהתחלת איתן חזרו ל-backprop, וזה היה חשוב כנקודת התחלה עבורך?

YL: כן, אבל אני חושב שמה שאנשים שכחו קצת ממנו, הייתה לא מעט עבודה על זה, אתה יודע, עוד בשנות ה-90, או אפילו בשנות ה-80, כולל של אנשים כמו מייקל ג'ורדן [מחלקת המוח של MIT ומדעי הקוגניציה] ואנשים כאלה שכבר לא עושים רשתות עצביות, אלא הרעיון שאפשר להשתמש ברשתות עצביות לשליטה, ואפשר להשתמש ברעיונות קלאסיים של שליטה מיטבית. אז, דברים כמו מה שנקרא בקרה חזויה מודל, מה שנקרא עכשיו שליטה חזויה מודל, הרעיון הזה שאתה יכול לדמות או לדמיין את התוצאה של רצף של פעולות אם יש לך מודל טוב של המערכת שאתה מנסה לשלוט בו והסביבה שבה היא נמצאת. ואז בירידה בהדרגה, בעצם - זו לא למידה, זו הסקה - אתה יכול להבין מהו רצף הפעולות הטוב ביותר שימזער את המטרה שלי. אז, השימוש בפונקציית עלות עם משתנה סמוי להסקת מסקנות הוא, לדעתי, משהו שהיבול הנוכחי של רשתות עצביות בקנה מידה גדול שכחו ממנו. אבל זה היה מרכיב מאוד קלאסי של למידת מכונה במשך זמן רב. לכן, כל רשת בייסיאנית או מודל גרפי או מודל גרפי הסתברותי השתמש בסוג זה של מסקנות. יש לך מודל שלוכד את התלות בין חבורה של משתנים, אומרים לך את הערך של חלק מהמשתנים, ואז אתה צריך להסיק את הערך הסביר ביותר של שאר המשתנים. זה העיקרון הבסיסי של מסקנות במודלים גרפיים וב-Bayesian Nets, ודברים כאלה. ואני חושב שבעצם זה מה שההיגיון צריך להיות לגבי, נימוק ותכנון.

ZDNet: אתה בייסיאני בארון.

YL: אני בייסיאני לא הסתברותי. עשיתי את הבדיחה הזאת קודם. למעשה הייתי ב-NeurIPS לפני כמה שנים, אני חושב שזה היה ב-2018 או 2019, ונתפסתי בווידאו על ידי בייסיאן ששאל אותי אם אני בייסיאני, ואמרתי, כן, אני בייסיאני, אבל אני אני בייסיאני לא הסתברותי, בערך, בייסיאי מבוסס אנרגיה, אם אתה רוצה. 

ZDNet: מה שבהחלט נשמע כמו משהו מ מסע בין כוכבים. הזכרת בסוף המאמר הזה, זה הולך לקחת שנים של עבודה קשה באמת כדי לממש את מה שאתה מדמיין. ספר לי ממה מורכבת חלק מהעבודה הזו כרגע.

YL: אז, אני מסביר איך אתה מאמן ובונה את ה-JEPA בעיתון. והקריטריון שבו אני דוגל הוא שיש דרך כלשהי למקסם את תוכן המידע שיש לייצוגים שנשלפים לגבי הקלט. ואז השני הוא למזער את שגיאת החיזוי. ואם יש לך משתנה סמוי במנבא שמאפשר למנבא להיות לא דטרמיניסטי, עליך להסדיר גם את המשתנה הסמוי הזה על ידי צמצום תוכן המידע שלו. אז, יש לך שני בעיות עכשיו, כלומר איך אתה ממקסם את תוכן המידע של הפלט של רשת עצבית כלשהי, והשני הוא איך אתה ממזער את תוכן המידע של משתנה סמוי כלשהו? ואם לא תעשה את שני הדברים האלה, המערכת תקרוס. זה לא ילמד שום דבר מעניין. זה ייתן אפס אנרגיה לכל דבר, משהו כזה, שזה לא מודל טוב של תלות. זו הבעיה של מניעת קריסה שאני מזכיר. 

ואני אומר שלכל הדברים שאנשים עשו אי פעם, יש רק שתי קטגוריות של שיטות למנוע קריסה. האחת היא שיטות ניגודיות, והשנייה היא השיטות המוסדרות. אז, הרעיון הזה של מקסום תוכן המידע של הייצוגים של שני התשומות וצמצום תוכן המידע של המשתנה הסמוי, ששייך לשיטות מסודרות. אבל הרבה מהעבודה בארכיטקטורות ההטמעות המשותפות הללו משתמשות בשיטות ניגודיות. למעשה, הם כנראה הפופולריים ביותר כרגע. אז, השאלה היא בדיוק איך אתה מודד תוכן מידע בצורה שאתה יכול לייעל או למזער? וכאן הדברים מסתבכים כי אנחנו לא יודעים איך למדוד תוכן מידע. אנחנו יכולים להעריך את זה, אנחנו יכולים לגבול את זה, אנחנו יכולים לעשות דברים כאלה. אבל הם לא ממש מודדים תוכן מידע, שלמעשה, במידה מסוימת אפילו אינו מוגדר היטב.

ZDNet: זה לא חוק שאנון? זו לא תורת המידע? יש לך כמות מסוימת של אנטרופיה, אנטרופיה טובה ואנטרופיה רעה, והאנטרופיה הטובה היא מערכת סמלים שעובדת, אנטרופיה רעה היא רעש. האין הכל פתר על ידי שאנון?

YL: אתה צודק, אבל יש פגם גדול מאחורי זה. אתה צודק במובן זה שאם יש לך נתונים שמגיעים אליך ואתה יכול איכשהו לכמת את הנתונים לסמלים נפרדים, ואז אתה מודד את ההסתברות של כל אחד מהסמלים האלה, אז הכמות המקסימלית של מידע שנישאת אותם סמלים היא סכום על פני הסמלים האפשריים של Pi log Pi, ימין? איפה Pi היא ההסתברות לסמל אני - זו האנטרופיה של שאנון. [חוק שאנון מנוסח בדרך כלל כ-H = – ∑ pi log pi.]

אבל הנה הבעיה: מה כן Pi? זה קל כאשר מספר הסמלים קטן והסמלים מצוירים באופן עצמאי. כשיש הרבה סמלים, ותלות, זה מאוד קשה. לכן, אם יש לך רצף של ביטים ואתה מניח שהסיביות אינן תלויות זו בזו וההסתברות שווה בין אחד לאפס או מה שלא יהיה, אז אתה יכול למדוד את האנטרופיה בקלות, אין בעיה. אבל אם הדברים שמגיעים אליך הם וקטורים בעלי מימד גבוה, כמו, אתה יודע, מסגרות נתונים, או משהו כזה, מה זה Pi? מה ההתפלגות? ראשית עליך לכמת את החלל הזה, שהוא חלל רציף במימד גבוה. אין לך מושג איך לכמת את זה כמו שצריך. אתה יכול להשתמש ב-k-means וכו'. זה מה שאנשים עושים כשהם עושים דחיסת וידאו ודחיסת תמונה. אבל זה רק הערכה. ואז אתה צריך להניח הנחות של עצמאות. אז ברור שבסרטון, פריימים עוקבים אינם עצמאיים. יש תלות, והמסגרת הזו עשויה להיות תלויה בפריים אחר שראיתם לפני שעה, שהייתה תמונה של אותו הדבר. אז, אתה יודע, אתה לא יכול למדוד Pi. למדוד Pi, חייבת להיות לך מערכת למידת מכונה שלומדת לחזות. וכך חזרת לבעיה הקודמת. אז, אתה יכול רק להעריך את מידת המידע, בעצם. 

תן לי לקחת דוגמה יותר קונקרטית. אחד האלגוריתמים שאיתם שיחקנו, ועליהם דיברתי ביצירה, הוא הדבר הזה שנקרא VICReg, variance-invariance-covariance regularization. זה במאמר נפרד שפורסם ב-ICLR, ו זה הועלה על arXiv כשנה לפני, 2021. והרעיון שם הוא למקסם את המידע. והרעיון הגיע למעשה ממאמר קודם של הקבוצה שלי שנקרא תאומים בארלו. אתה ממקסם את תוכן המידע של וקטור שיוצא מרשת עצבית על ידי הנחה, בעצם, שהתלות היחידה בין משתנים היא מתאם, תלות ליניארית. לכן, אם אתה מניח שהתלות היחידה האפשרית בין זוגות של משתנים, או בין משתנים במערכת שלך, היא קורלציות בין זוגות של חפצי ערך, שהיא הקירוב הגס ביותר, אז אתה יכול למקסם את תוכן המידע שיוצא מהמערכת שלך על ידי לוודא שלכל המשתנים יש שונות שאינה אפס - נניח, שונות אחת, זה לא משנה מהי - ואז מתאם אחורה שלהם, אותו תהליך שנקרא הלבנה, זה גם לא חדש. הבעיה עם זה היא שיכולות מאוד להיות לך תלות מורכבת ביותר בין קבוצות של משתנים או אפילו רק זוגות של משתנים שאינם תלות ליניארית, והם לא מופיעים במתאמים. אז, למשל, אם יש לך שני משתנים, וכל הנקודות של שני המשתנים האלה מסתדרות בסוג של ספירלה, יש תלות חזקה מאוד בין שני המשתנים האלה, נכון? אבל למעשה, אם מחשבים את המתאם בין שני המשתנים האלה, הם לא מתואמים. אז הנה דוגמה שבה תוכן המידע של שני המשתנים האלה הוא למעשה קטן מאוד, זה רק כמות אחת כי זה המיקום שלך בספירלה. יש להם דה-קורלציה, אז אתה חושב שיש לך הרבה מידע שיוצא משני המשתנים האלה כשלמעשה אין לך, יש לך רק, אתה יודע, אתה יכול לחזות את אחד המשתנים מהאחר, בעצם. אז זה מראה שיש לנו רק דרכים מאוד משוערות למדידת תוכן מידע.

ZDNet: אז זה אחד הדברים שאתה צריך לעבוד עליהם עכשיו עם זה? זו השאלה הגדולה יותר של איך אנחנו יודעים מתי אנחנו ממקסמים ומצמצמים את תוכן המידע?

YL:  או שמא ה-proxy שבו אנחנו משתמשים בשביל זה מספיק טוב למשימה שאנחנו רוצים. למעשה, אנו עושים זאת כל הזמן בלמידת מכונה. פונקציות העלות שאנו ממזערים אינן אף פעם אלו שאנו באמת רוצים למזער. אז, למשל, אתה רוצה לעשות סיווג, בסדר? פונקציית העלות שברצונך למזער כאשר אתה מכשיר מסווג היא מספר הטעויות שהסווג עושה. אבל זו פונקציית עלות איומה שאינה ניתנת להבדלה, שאינך יכול למזער כי אתה יודע שאתה הולך לשנות את המשקלים של הרשת העצבית שלך, שום דבר לא ישתנה עד שאחת מהדגימות האלה תשנה את ההחלטה שלה, ואז קפיצה בשגיאה, חיובית או שלילית.

ZDNet: אז יש לך פרוקסי שהיא פונקציה אובייקטיבית שאתה בהחלט יכול לומר, אנחנו בהחלט יכולים לזרום גרדיאנטים של הדבר הזה.

YL: זה נכון. אז אנשים משתמשים באובדן צולב אנטרופיה הזה, או SOFTMAX, יש לך כמה שמות לזה, אבל זה אותו דבר. וזה בעצם קירוב חלק של מספר השגיאות שהמערכת עושה, כאשר ההחלקה נעשית על ידי, בעצם, התחשבות בציון שהמערכת נותנת לכל אחת מהקטגוריות.

ZDNet: האם יש משהו שלא סיקרנו שהיית רוצה לכסות?

YL: זה כנראה מדגיש את הנקודות העיקריות. אני חושב שמערכות בינה מלאכותית צריכות להיות מסוגלות לנמק, והתהליך לכך שאני תומך בו הוא צמצום אובייקטיבי כלשהו ביחס למשתנה סמוי כלשהו. זה מאפשר למערכות לתכנן ולנמק. אני חושב שעלינו לנטוש את המסגרת ההסתברותית כי היא בלתי ניתנת לפתרון כשאנחנו רוצים לעשות דברים כמו לכידת תלות בין משתנים מתמשכים ממדים גבוהים. ואני תומך לזנוח את המודלים הגנרטיביים מכיוון שהמערכת תצטרך להקדיש יותר מדי משאבים לניבוי דברים שקשה מדי לחזות אותם ואולי צורכים יותר מדי משאבים. וזה בערך הכל. אלו המסרים העיקריים, אם אתה רוצה. ואז הארכיטקטורה הכוללת. ואז יש את ההשערות האלה לגבי טבעה של התודעה ותפקידו של הקופיגורטור, אבל זו באמת ספקולציה.

ZDNet: נגיע לזה בפעם הבאה. התכוונתי לשאול אותך, איך אתה מבסס את הדבר הזה? אבל אני מניח שאתה קצת יותר רחוק מהשוואת ביצועים עכשיו?

YL: לא בהכרח כל כך רחוק, סוג של גרסאות מפושטות. אתה יכול לעשות את מה שכולם עושים בשליטה או בלימוד חיזוק, כלומר, אתה מאמן את הדבר לשחק במשחקי Atari או משהו כזה או איזה משחק אחר שיש בו חוסר ודאות.

ZDNet: תודה על הזמן שלך, יאן.