Keep Calm and Stay Smart
04:29
LeCun กูรูด้าน AI ของ Meta: แนวทาง AI ในปัจจุบันส่วนใหญ่จะไม่มีวันนำไปสู่ความฉลาดที่แท้จริง
Yann LeCun หัวหน้านักวิทยาศาสตร์ AI ของ Meta กล่าวว่า "ฉันคิดว่าระบบ AI จำเป็นต้องสามารถให้เหตุผลได้ แนวทาง AI ที่ได้รับความนิยมในปัจจุบัน เช่น Transformers ซึ่งหลายๆ วิธีต่อยอดจากงานบุกเบิกของเขาเองจะไม่เพียงพอ “คุณต้องถอยออกมาแล้วพูดว่า โอเค เราสร้างบันไดนี้ แต่เราอยากไปดวงจันทร์ และไม่มีทางที่บันไดนี้จะพาเราไปที่นั่นได้” LeCun กล่าว
ยานน์ เลอชุน หัวหน้านักวิทยาศาสตร์ AI ของ Meta Properties เจ้าของ Facebook, Instagram และ WhatsApp มีแนวโน้มที่จะทำเครื่องหมายคนจำนวนมากในสาขาของเขา
ด้วยการโพสต์ในเดือนมิถุนายนของชิ้นคิด บนเซิร์ฟเวอร์ Open Review, LeCun เสนอภาพรวมคร่าวๆ ของแนวทางที่เขาคิดว่ามีสัญญาที่จะบรรลุปัญญาระดับมนุษย์ในเครื่องจักร
เป็นที่นิยมในขณะนี้
โดยนัยหากไม่ระบุไว้ในเอกสารเป็นข้อโต้แย้งว่าโครงการขนาดใหญ่ในปัจจุบันใน AI ส่วนใหญ่จะไม่สามารถเข้าถึงเป้าหมายระดับมนุษย์ได้
ในการสนทนาเดือนนี้กับ ZDNet ผ่านทาง Zoom LeCun ชี้แจงอย่างชัดเจนว่าเขามองด้วยความสงสัยอย่างมากเกี่ยวกับแนวทางการวิจัยที่ประสบความสำเร็จมากที่สุดในการเรียนรู้อย่างลึกซึ้งในขณะนี้
“ฉันคิดว่ามีความจำเป็น แต่ไม่เพียงพอ” ผู้ชนะรางวัลทัวริงกล่าว ZDNet ของการแสวงหาของเพื่อนร่วมงานของเขา
ซึ่งรวมถึงโมเดลภาษาขนาดใหญ่ เช่น GPT-3 ที่ใช้ Transformer และตระกูลเดียวกัน ในฐานะที่เป็น LeCun อธิบายลักษณะนี้ สาวก Transformer เชื่อว่า “เราสร้างโทเค็นทุกอย่าง และฝึกฝนขนาดมหึมาแบบจำลองเพื่อคาดการณ์แบบแยกส่วน และด้วยเหตุใด AI ก็จะโผล่ออกมาจากสิ่งนี้”
"ไม่ผิด" เขากล่าว "ในแง่ที่ว่านั่นอาจเป็นส่วนประกอบของระบบอัจฉริยะในอนาคต แต่ฉันคิดว่ามันขาดส่วนสำคัญ"
นอกจากนี้: LeCun ผู้ทรงคุณวุฒิ AI ของ Meta สำรวจพรมแดนด้านพลังงานของการเรียนรู้เชิงลึก
เป็นการวิพากษ์วิจารณ์ที่น่าตกใจเกี่ยวกับสิ่งที่ดูเหมือนจะได้ผลจากนักวิชาการผู้ทำให้การใช้โครงข่ายประสาทเทียมสมบูรณ์แบบ ซึ่งเป็นเทคนิคเชิงปฏิบัติที่ให้ผลอย่างเหลือเชื่อในโปรแกรมการเรียนรู้เชิงลึก
LeCun มองเห็นข้อบกพร่องและข้อจำกัดในด้านอื่นๆ ที่ประสบความสำเร็จอย่างสูงของวินัย
การเรียนรู้การเสริมกำลังจะไม่มีวันเพียงพอเช่นกัน นักวิจัยเช่น David Silver แห่ง DeepMind ผู้พัฒนาโปรแกรม AlphaZero ที่เชี่ยวชาญ Chess, Shogi และ Go กำลังมุ่งเน้นไปที่โปรแกรมที่ "เน้นการดำเนินการอย่างมาก" LeCun ตั้งข้อสังเกต แต่ "การเรียนรู้ส่วนใหญ่ที่เราทำ เราไม่ ลงมือทำจริง เราทำโดยการสังเกต”
Lecun วัย 62 ปี จากมุมมองของความสำเร็จหลายสิบปี ยังคงแสดงความเร่งด่วนที่จะเผชิญหน้ากับสิ่งที่เขาคิดว่าเป็นตรอกซอกซอยที่หลายคนอาจเร่งรีบ และพยายามเกลี้ยกล่อมสนามของเขาไปในทิศทางที่เขาคิดว่าควรไป
เป็นที่นิยมในขณะนี้
“เราเห็นข้อเรียกร้องมากมายเกี่ยวกับสิ่งที่เราควรทำเพื่อผลักดันไปสู่ AI ระดับมนุษย์” เขากล่าว “และมีความคิดที่ฉันคิดว่าถูกชี้ทางผิด”
“เราไม่ได้ถึงจุดที่เครื่องจักรอัจฉริยะของเรามีสามัญสำนึกมากพอๆ กับแมว” Lecun ตั้งข้อสังเกต “แล้วทำไมเราไม่เริ่มที่นั่นล่ะ”
เขาได้ละทิ้งความเชื่อก่อนหน้านี้ในการใช้เครือข่ายกำเนิดในสิ่งต่างๆ เช่น การทำนายเฟรมถัดไปในวิดีโอ “มันเป็นความล้มเหลวอย่างสมบูรณ์” เขากล่าว
LeCun ประณามผู้ที่เขาเรียกว่า "ความน่าจะเป็นทางศาสนา" ซึ่ง "คิดว่าทฤษฎีความน่าจะเป็นเป็นกรอบเดียวที่คุณสามารถใช้เพื่ออธิบายการเรียนรู้ของเครื่อง"
แนวทางทางสถิติล้วนๆ นั้นยากเย็นแสนเข็ญ เขากล่าว “มันมากเกินไปที่จะขอให้แบบจำลองโลกมีความน่าจะเป็นอย่างสมบูรณ์ เราไม่รู้ว่าต้องทำอย่างไร”
ไม่ใช่แค่นักวิชาการเท่านั้น แต่ AI ในอุตสาหกรรมยังต้องคิดใหม่อย่างลึกซึ้ง LeCun กล่าว กลุ่มรถไร้คนขับ สตาร์ทอัพอย่าง Wayve นั้น “มองโลกในแง่ดีไปหน่อย” เขากล่าว โดยคิดว่าพวกเขาสามารถ “ส่งข้อมูลไปที่” โครงข่ายประสาทเทียมขนาดใหญ่ “และคุณสามารถเรียนรู้อะไรก็ได้ทั้งนั้น”
“คุณรู้ไหม ฉันคิดว่าเป็นไปได้อย่างยิ่งที่เราจะมีรถยนต์อิสระระดับห้าโดยไม่มีสามัญสำนึก” เขากล่าว โดยอ้างถึง “ADAS” ระบบช่วยเหลือผู้ขับขี่ขั้นสูง เงื่อนไขสำหรับการขับขี่ด้วยตนเอง “แต่คุณจะต้องสร้างนรกขึ้นมา”
เขาเชื่อว่าเทคโนโลยีการขับขี่ด้วยตนเองที่ออกแบบมากเกินไปดังกล่าวจะเป็นเรื่องที่ส่งเสียงดังเอี๊ยดและเปราะบางเหมือนกับโปรแกรมคอมพิวเตอร์วิทัศน์ทั้งหมดที่ล้าสมัยด้วยการเรียนรู้อย่างลึกซึ้ง
“ในท้ายที่สุด จะมีทางออกที่น่าพึงพอใจและอาจเป็นไปได้ที่ดีกว่า ซึ่งเกี่ยวข้องกับระบบที่เข้าใจวิธีการทำงานของโลกได้ดีขึ้น”
เป็นที่นิยมในขณะนี้
ระหว่างทาง LeCun เสนอมุมมองที่เหี่ยวแห้งของนักวิจารณ์ที่ใหญ่ที่สุดของเขา เช่น ศาสตราจารย์ Gary Marcus จาก NYU – “เขาไม่เคยมีส่วนสนับสนุน AI เลย” และ Jürgen Schmidhuber ผู้อำนวยการร่วมของสถาบัน Dalle Molle Institute for Artificial Intelligence Research – “เป็น ปักธงได้ง่ายมาก”
นอกเหนือจากการวิพากษ์วิจารณ์แล้ว จุดสำคัญของ LeCun ก็คือปัญหาพื้นฐานบางอย่างต้องเผชิญกับ AI ทั้งหมด โดยเฉพาะอย่างยิ่ง วิธีวัดข้อมูล
“คุณต้องถอยออกมาแล้วพูดว่า โอเค เราสร้างบันไดนี้ แต่เราอยากไปดวงจันทร์ และไม่มีทางที่บันไดนี้จะพาเราไปที่นั่นได้” LeCun กล่าวถึงความปรารถนาของเขาที่จะกระตุ้นให้คิดใหม่ ของแนวคิดพื้นฐาน “โดยพื้นฐานแล้ว สิ่งที่ฉันเขียนที่นี่คือ เราต้องสร้างจรวด ฉันไม่สามารถให้รายละเอียดเกี่ยวกับวิธีที่เราสร้างจรวดได้ แต่นี่คือหลักการพื้นฐาน”
กระดาษและความคิดของ LeCun ในการสัมภาษณ์สามารถเข้าใจได้ดีขึ้นโดยการอ่านบทสัมภาษณ์ของ LeCun เมื่อต้นปีนี้ด้วย ZDNet ซึ่งเขาโต้แย้งว่าการเรียนรู้ด้วยตนเองโดยใช้พลังงานเป็นแนวทางสำหรับการเรียนรู้อย่างลึกซึ้ง การไตร่ตรองเหล่านี้ให้ความรู้สึกถึงแนวทางหลักสำหรับสิ่งที่เขาหวังว่าจะสร้างขึ้นเพื่อเป็นทางเลือกแทนสิ่งที่เขาอ้างว่าจะไม่ไปถึงเส้นชัย
ต่อไปนี้คือบทสัมภาษณ์ที่แก้ไขเล็กน้อย
ZDเน็ต: หัวข้อสนทนาของเราคือ "เส้นทางสู่ปัญญาของเครื่องอัตโนมัติ" เวอร์ชัน 0.9.2 ใดเป็นเวอร์ชันที่ยังหลงเหลืออยู่ ใช่ไหม
ยานน์ เลอชุน: ใช่ ฉันคิดว่านี่เป็นเอกสารการทำงาน ดังนั้นฉันจึงโพสต์ไว้ใน Open Review โดยรอให้ผู้คนแสดงความคิดเห็นและข้อเสนอแนะ อาจมีการอ้างอิงเพิ่มเติม จากนั้นฉันจะผลิตเวอร์ชันที่แก้ไข
เป็นที่นิยมในขณะนี้
ZDเน็ต: ฉันเห็นว่า Juergen Schmidhuber ได้เพิ่มความคิดเห็นบางส่วนใน Open Review แล้ว
วายแอล: ใช่ เขาทำเสมอ ฉันอ้างอิงหนึ่งในเอกสารของเขาที่นั่นในกระดาษของฉัน ฉันคิดว่าข้อโต้แย้งที่เขาทำบนโซเชียลเน็ตเวิร์กซึ่งโดยพื้นฐานแล้วเขาคิดค้นทั้งหมดนี้ในปี 1991 อย่างที่เขาทำในกรณีอื่น ๆ นั้นไม่ใช่กรณี บอกเลยว่าทำง่ายมากการปักธง และการเขียนความคิดแบบไม่มีการทดลองใดๆ โดยไม่มีทฤษฎีใดๆ แค่แนะนำว่าคุณสามารถทำได้ด้วยวิธีนี้ แต่คุณรู้ไหม มีความแตกต่างกันมากระหว่างแค่มีความคิด แล้วทำให้มันทำงานเกี่ยวกับปัญหาของเล่น แล้วทำให้มันทำงานในปัญหาจริง แล้วทำทฤษฎีที่แสดงให้เห็นว่าทำไมมันถึงได้ผล แล้วหลังจากนั้น ปรับใช้มัน มีทั้งสายโซ่ และแนวคิดเรื่องเครดิตทางวิทยาศาสตร์ของเขาก็คือ บุคคลกลุ่มแรกๆ ที่มีความคิดแบบนั้น ควรจะได้เครดิตทั้งหมด และที่ไร้สาระ
ZDเน็ต: อย่าเชื่อทุกสิ่งที่คุณได้ยินบนโซเชียลมีเดีย
วายแอล: ฉันหมายถึง บทความหลักที่เขาบอกว่าฉันควรอ้างอิงไม่มีแนวคิดหลักที่ฉันพูดถึงในกระดาษ เขาทำสิ่งนี้ด้วยกับ GAN และสิ่งอื่น ๆ ซึ่งไม่เป็นความจริง ปักธงง่าย บริจาคยากกว่ามาก และอีกอย่าง ในบทความนี้ ฉันพูดอย่างชัดเจนว่านี่ไม่ใช่บทความทางวิทยาศาสตร์ ตามความหมายปกติของคำศัพท์นี้ เป็นเอกสารแสดงตำแหน่งมากกว่าว่าสิ่งนี้ควรไปที่ใด และมีแนวคิดสองสามข้อที่อาจเป็นเรื่องใหม่ แต่ส่วนใหญ่ไม่ใช่ ฉันไม่ได้เรียกร้องลำดับความสำคัญใด ๆ กับสิ่งที่ฉันเขียนในกระดาษนั้นโดยพื้นฐานแล้ว
เป็นที่นิยมในขณะนี้
การเรียนรู้การเสริมกำลังจะไม่เพียงพอ LeCun รักษา นักวิจัยเช่น David Silver แห่ง DeepMind ผู้พัฒนาโปรแกรม AlphaZero ที่เชี่ยวชาญ Chess, Shogi และ Go นั้น “มีพื้นฐานมาจากการกระทำอย่างมาก” LeCun ตั้งข้อสังเกต แต่ “การเรียนรู้ส่วนใหญ่ที่เราทำ เราไม่ได้ทำโดยการใช้จริง การกระทำ เราทำโดยการสังเกต”
ZDเน็ต: และนั่นอาจเป็นจุดเริ่มต้นที่ดี เพราะฉันสงสัยว่าทำไมคุณถึงเดินตามเส้นทางนี้ตอนนี้ อะไรทำให้คุณคิดเกี่ยวกับเรื่องนี้? ทำไมคุณถึงต้องการเขียนสิ่งนี้?
วายแอล: ฉันก็คิดเรื่องนี้มานานแล้ว เกี่ยวกับเส้นทางสู่ความฉลาดระดับมนุษย์หรือระดับสัตว์ หรือการเรียนรู้และความสามารถ และในการพูดคุยของฉัน ฉันได้พูดค่อนข้างมากเกี่ยวกับเรื่องทั้งหมดนี้ว่าทั้งการเรียนรู้ภายใต้การดูแลและการเรียนรู้แบบเสริมกำลังไม่เพียงพอที่จะเลียนแบบการเรียนรู้ที่เราสังเกตในสัตว์และมนุษย์ ฉันทำสิ่งนี้มาเจ็ดหรือแปดปีแล้ว ดังนั้นจึงไม่ใช่เรื่องล่าสุด ฉันมีคำปราศรัยที่ NeurIPS เมื่อหลายปีก่อนที่ฉันทำประเด็นนั้นโดยพื้นฐานแล้วและมีการพูดคุยต่างๆ ตอนนี้ทำไมต้องเขียนบทความตอนนี้? ฉันมาถึงประเด็นแล้ว — [นักวิจัย Google Brain] Geoff Hinton เคยทำสิ่งที่คล้ายกันมาแล้ว — ฉันหมายถึง แน่นอนว่าเขามากกว่าฉัน เราเห็นเวลาหมดแล้ว เราไม่เด็ก
ZDเน็ต: หกสิบคือห้าสิบใหม่
วายแอล: นั่นเป็นความจริง แต่ประเด็นคือ เราเห็นข้อเรียกร้องมากมายเกี่ยวกับสิ่งที่เราควรทำเพื่อผลักดันไปสู่ AI ระดับมนุษย์ และมีความคิดที่ฉันคิดว่าถูกชี้ทางผิด แนวคิดหนึ่งคือ โอ้ เราควรใส่เหตุผลเชิงสัญลักษณ์ไว้บนโครงข่ายประสาท และฉันไม่รู้ว่าต้องทำอย่างไร ดังนั้น บางทีสิ่งที่ฉันอธิบายในบทความนี้อาจเป็นแนวทางหนึ่งที่จะทำสิ่งเดียวกันโดยไม่มีการปรับเปลี่ยนสัญลักษณ์อย่างชัดเจน นี่คือประเภทของ Gary Marcuses ตามธรรมเนียมของโลก Gary Marcus ไม่ใช่คน AI แต่เขาเป็นนักจิตวิทยา เขาไม่เคยบริจาคสิ่งใดให้กับ AI เขาทำได้ดีมากในด้านจิตวิทยาเชิงทดลอง แต่เขาไม่เคยเขียนบทความที่ผ่านการตรวจสอบโดยเพื่อนเกี่ยวกับ AI ก็มีคนพวกนั้น
มี [นักวิทยาศาสตร์การวิจัยหลักการ DeepMind] David Silvers ของโลกที่พูดว่า รู้ไหม รางวัลก็เพียงพอแล้ว โดยพื้นฐานแล้ว มันคือทั้งหมดที่เกี่ยวกับการเรียนรู้แบบเสริมกำลัง เราแค่ต้องทำให้มันมีประสิทธิภาพมากขึ้น ตกลงไหม และฉันคิดว่ามันไม่ผิด แต่ฉันคิดว่าขั้นตอนที่จำเป็นในการทำให้การเรียนรู้แบบเสริมแรงมีประสิทธิภาพมากขึ้น โดยพื้นฐานแล้ว จะผลักไสการเรียนรู้การเสริมกำลังให้เรียงลำดับของเชอร์รี่บนเค้ก และส่วนที่ขาดหายไปหลักคือการเรียนรู้วิธีการทำงานของโลก ส่วนใหญ่จากการสังเกตโดยไม่ต้องดำเนินการ การเรียนรู้การเสริมกำลังนั้นมีพื้นฐานมาจากการกระทำ คุณเรียนรู้สิ่งต่าง ๆ เกี่ยวกับโลกด้วยการกระทำและเห็นผลลัพธ์
ZDเน็ต: และเน้นการให้รางวัล
วายแอล: เน้นรางวัลและเน้นการกระทำเช่นกัน ดังนั้น คุณต้องลงมือปฏิบัติในโลกนี้จึงจะสามารถเรียนรู้บางอย่างเกี่ยวกับโลกได้ และคำกล่าวอ้างหลักที่ฉันเขียนไว้ในบทความเกี่ยวกับการเรียนรู้แบบควบคุมตนเองคือ การเรียนรู้ส่วนใหญ่ที่เราทำ เราไม่ได้ทำโดยการกระทำจริง เราทำโดยการสังเกต และมันเป็นเรื่องนอกรีตมาก ทั้งสำหรับการเรียนรู้การเสริมกำลังคน โดยเฉพาะอย่างยิ่ง แต่สำหรับนักจิตวิทยาและนักวิทยาศาสตร์ด้านความรู้ความเข้าใจจำนวนมากที่คิดว่า คุณรู้ การกระทำคือ — ฉันไม่ได้บอกว่าการกระทำไม่จำเป็น มัน is จำเป็น. แต่ฉันคิดว่าส่วนใหญ่ของสิ่งที่เราเรียนรู้ส่วนใหญ่เกี่ยวกับโครงสร้างของโลก และแน่นอนว่าเกี่ยวข้องกับปฏิสัมพันธ์ การกระทำและการเล่น และสิ่งต่างๆ เช่นนั้น แต่ส่วนมากเป็นเรื่องเชิงสังเกต
ZDเน็ต: นอกจากนี้คุณยังสามารถขีดฆ่าคน Transformer ที่เน้นภาษาได้ในเวลาเดียวกัน คุณจะสร้างสิ่งนี้โดยไม่มีภาษาได้อย่างไร คุณสามารถจัดการเพื่อติ๊กคนจำนวนมาก
วายแอล: ใช่ ฉันเคยชินกับมัน ใช่แล้ว มีคนที่เน้นภาษาเป็นหลัก ที่พูดว่า คุณรู้ไหม ความฉลาดเป็นเรื่องของภาษา พื้นฐานของความฉลาดคือภาษา บลา บลา บลา แต่นั่นก็เป็นการละเลยความฉลาดของสัตว์ คุณรู้ไหมว่าเราไม่ได้ถึงจุดที่เครื่องอัจฉริยะของเรามีสามัญสำนึกมากพอ ๆ กับแมว ทำไมเราไม่เริ่มต้นที่นั่น? อะไรที่ทำให้แมวสามารถเข้าใจโลกรอบตัว ทำสิ่งที่ชาญฉลาด และวางแผนและอะไรแบบนั้น และสุนัขได้ดียิ่งขึ้นไปอีก?
ก็มีแต่คนพูดว่า โอ้ ความฉลาดเป็นเรื่องของสังคม ใช่ไหม? เราฉลาดเพราะเราคุยกันและแลกเปลี่ยนข้อมูลกัน บลา บลา บลา มีสายพันธุ์ที่ไม่เข้าสังคมทุกประเภทที่ไม่เคยพบพ่อแม่ที่ฉลาดมาก เช่น ปลาหมึกยักษ์หรืออุรังอุตังฉันหมายถึง พวกมัน [อุรังอุตัง] ได้รับการศึกษาจากแม่อย่างแน่นอน แต่พวกมันไม่ใช่สัตว์สังคม
แต่คนประเภทอื่นที่ฉันอาจติ๊กคือคนที่พูดว่าการปรับขนาดก็เพียงพอแล้ว โดยพื้นฐานแล้ว เราแค่ใช้ Transformers ขนาดยักษ์ เราฝึกพวกมันเกี่ยวกับข้อมูลหลายรูปแบบที่เกี่ยวข้องกับวิดีโอ ข้อความ บลา บลา บลา เรา, ชนิด, กลายเป็นหินทุกอย่าง และทำเป็นโทเค็นทุกอย่าง แล้วฝึกขนาดมหึมาแบบจำลองเพื่อคาดการณ์แบบแยกส่วน โดยพื้นฐานแล้ว AI จะโผล่ออกมาจากสิ่งนี้ ไม่ผิดในแง่ที่ว่าอาจเป็นส่วนประกอบของระบบอัจฉริยะในอนาคต แต่ฉันคิดว่ามันขาดชิ้นส่วนสำคัญ
มีคนอีกประเภทหนึ่งที่ฉันจะทำเครื่องหมายด้วยบทความนี้ และมันคือความน่าจะเป็น ผู้มีความน่าจะเป็นทางศาสนา ดังนั้น คนที่คิดว่าทฤษฎีความน่าจะเป็นเป็นกรอบงานเดียวที่คุณสามารถใช้เพื่ออธิบายแมชชีนเลิร์นนิงได้ และในขณะที่ฉันพยายามอธิบายในส่วนนี้ โดยทั่วไปแล้ว มันมากเกินไปที่จะขอให้แบบจำลองโลกมีความน่าจะเป็นอย่างสมบูรณ์ เราไม่รู้ว่าต้องทำอย่างไร มีความยากในการคำนวณ ดังนั้นฉันจึงเสนอให้ยกเลิกความคิดทั้งหมดนี้ และแน่นอน คุณรู้ไหม นี่เป็นเสาหลักที่ใหญ่มาก ไม่ใช่แค่แมชชีนเลิร์นนิง แต่รวมถึงสถิติทั้งหมด ซึ่งอ้างว่าเป็นรูปแบบปกติสำหรับแมชชีนเลิร์นนิง
อีกอย่าง—
ZDเน็ต: คุณอยู่ในม้วน ...
วายแอล: — คือสิ่งที่เรียกว่าแบบจำลองกำเนิด ดังนั้น แนวคิดที่ว่าคุณสามารถเรียนรู้ที่จะทำนาย และคุณอาจเรียนรู้มากมายเกี่ยวกับโลกโดยการทำนาย ฉันจึงให้วิดีโอกับคุณ และขอให้ระบบคาดการณ์ว่าจะเกิดอะไรขึ้นต่อไปในวิดีโอ และฉันอาจขอให้คุณทำนายเฟรมวิดีโอจริงพร้อมรายละเอียดทั้งหมด แต่สิ่งที่ผมโต้แย้งในบทความนี้ก็คือ ที่จริงแล้วมันมากเกินไปที่จะถามและซับซ้อนเกินไป และนี่คือสิ่งที่ฉันเปลี่ยนใจ จนกระทั่งเมื่อประมาณสองปีที่แล้ว ฉันเคยเป็นผู้สนับสนุนสิ่งที่ฉันเรียกว่า โมเดลกำเนิดตัวแปรแฝง แบบจำลองที่ทำนายว่าจะเกิดอะไรขึ้นต่อไป หรือข้อมูลที่ขาดหายไป อาจด้วยความช่วยเหลือของตัวแปรแฝง หากไม่สามารถทำนายได้ กำหนด และฉันได้ยอมแพ้ในเรื่องนี้ และเหตุผลที่ฉันเลิกทำสิ่งนี้ก็ขึ้นอยู่กับผลลัพธ์เชิงประจักษ์ ซึ่งผู้คนได้พยายามประยุกต์ใช้ การเรียงลำดับ การทำนาย หรือการฝึกอบรมตามการสร้างใหม่ ของประเภทที่ใช้ใน BERTและโมเดลภาษาขนาดใหญ่ พวกเขาพยายามใช้สิ่งนี้กับรูปภาพ และมันก็ล้มเหลวโดยสิ้นเชิง และสาเหตุที่ทำให้เกิดความล้มเหลวโดยสิ้นเชิงก็คือ เนื่องจากข้อจำกัดของตัวแบบความน่าจะเป็น ที่ค่อนข้างง่ายในการทำนายโทเค็นที่ไม่ต่อเนื่อง เช่น คำ เพราะเราสามารถคำนวณการกระจายความน่าจะเป็นของทุกคำในพจนานุกรม ที่ง่าย แต่ถ้าเราขอให้ระบบสร้างการแจกแจงความน่าจะเป็นในเฟรมวิดีโอที่เป็นไปได้ทั้งหมด เราไม่รู้ว่าจะตั้งค่าพารามิเตอร์มันอย่างไร หรือเรามีแนวคิดว่าจะตั้งค่าพารามิเตอร์อย่างไร แต่เราไม่รู้ว่าจะทำให้มันเป็นมาตรฐานได้อย่างไร มันพบกับปัญหาทางคณิตศาสตร์ที่ยากจะแก้ไขซึ่งเราไม่รู้ว่าจะแก้อย่างไร
“เราไม่ได้ถึงจุดที่เครื่องจักรอัจฉริยะของเรามีสามัญสำนึกมากพอๆ กับแมว” Lecun ตั้งข้อสังเกต “แล้วทำไมเราไม่เริ่มต้นที่นั่น? อะไรที่ทำให้แมวสามารถเข้าใจโลกรอบตัว ทำสิ่งที่ฉลาดมาก วางแผนและอะไรแบบนั้น และสุนัขได้ดียิ่งขึ้นไปอีก”
นั่นเป็นเหตุผลที่ฉันบอกว่า ให้ละทิ้งทฤษฎีความน่าจะเป็นหรือกรอบงานสำหรับสิ่งต่างๆ เช่นนั้น แบบจำลองที่อิงพลังงานที่อ่อนแอกว่า ฉันสนับสนุนเรื่องนี้มาหลายสิบปีแล้ว ดังนั้นนี่จึงไม่ใช่เรื่องล่าสุด แต่ในขณะเดียวกันก็ละทิ้งแนวคิดเรื่องแบบจำลองกำเนิดเพราะมีหลายอย่างในโลกที่ไม่เข้าใจและคาดเดาไม่ได้ ถ้าคุณเป็นวิศวกร คุณเรียกว่าเสียงรบกวน หากคุณเป็นนักฟิสิกส์ คุณจะเรียกมันว่าความร้อน และถ้าคุณเป็นคนที่เรียนรู้ด้วยเครื่อง คุณจะเรียกมันว่า รายละเอียดที่ไม่เกี่ยวข้องหรืออะไรก็ตาม
ตัวอย่างที่ฉันใช้ในบทความหรือในการเจรจาคือ คุณต้องการระบบการทำนายโลกที่จะช่วยในรถยนต์ที่ขับด้วยตนเองใช่ไหม มันต้องการที่จะสามารถคาดการณ์ล่วงหน้าถึงวิถีของรถคันอื่นๆ ว่าจะเกิดอะไรขึ้นกับวัตถุอื่นๆ ที่อาจเคลื่อนที่ได้ คนเดินถนน จักรยาน เด็กวิ่งตามลูกฟุตบอล อะไรทำนองนั้น ดังนั้นทุกสิ่งในโลก แต่ริมถนนอาจมีต้นไม้ และวันนี้มีลม ใบไม้จึงเคลื่อนไหวตามลม และหลังต้นไม้มีสระน้ำ และมีคลื่นในสระ และโดยพื้นฐานแล้วสิ่งเหล่านี้เป็นปรากฏการณ์ที่คาดเดาไม่ได้เป็นส่วนใหญ่ และคุณไม่ต้องการให้แบบจำลองของคุณใช้ทรัพยากรจำนวนมากในการทำนายสิ่งเหล่านั้นที่ยากต่อการคาดเดาและไม่เกี่ยวข้อง นั่นเป็นเหตุผลที่ฉันสนับสนุนสถาปัตยกรรมการฝังร่วม สิ่งเหล่านั้นที่ตัวแปรที่คุณพยายามสร้างแบบจำลอง คุณไม่ได้พยายามคาดเดามัน คุณกำลังพยายามสร้างแบบจำลอง แต่มันทำงานผ่านตัวเข้ารหัส และ ตัวเข้ารหัสนั้นสามารถขจัดรายละเอียดมากมายเกี่ยวกับอินพุตที่ไม่เกี่ยวข้องหรือซับซ้อนเกินไป — โดยพื้นฐานแล้ว เทียบเท่ากับสัญญาณรบกวน
ZDเน็ต: เราได้พูดคุยกันเมื่อต้นปีนี้ โมเดลที่ใช้พลังงานคือ JEPA และ H-JEPA ความรู้สึกของฉัน ถ้าฉันเข้าใจคุณถูกต้อง คือ คุณกำลังพบจุดที่พลังงานต่ำซึ่งการคาดคะเนการฝัง X และ Y ทั้งสองนี้มีความคล้ายคลึงกันมากที่สุด ซึ่งหมายความว่าหากมีนกพิราบอยู่ในต้นไม้หนึ่งต้น และมีบางอย่างอยู่ใน ฉากหลังของฉาก สิ่งเหล่านี้อาจไม่ใช่จุดสำคัญที่ทำให้การฝังเหล่านี้อยู่ใกล้กัน
วายแอล: ถูกต้อง. ดังนั้น สถาปัตยกรรม JEPA จึงพยายามหาจุดประนีประนอมระหว่างการแยกการแสดงข้อมูลที่มีข้อมูลมากที่สุดเกี่ยวกับปัจจัยที่นำเข้า แต่ยังคาดการณ์ได้จากระดับของความถูกต้องหรือความน่าเชื่อถือในระดับหนึ่ง มันพบการประนีประนอม ดังนั้น หากมีทางเลือกระหว่างการใช้ทรัพยากรจำนวนมาก รวมทั้งรายละเอียดของการเคลื่อนไหวของใบไม้ แล้วสร้างแบบจำลองไดนามิกที่จะตัดสินว่าใบไม้จะเคลื่อนตัวอย่างไรในวินาทีต่อจากนี้ หรือเพียงแค่วางมันลงบนพื้นโดย โดยพื้นฐานแล้วการรันตัวแปร Y ผ่านตัวทำนายที่ลบรายละเอียดทั้งหมดนั้นออกไป มันอาจจะแค่กำจัดมันออกไปเพราะมันยากเกินไปที่จะสร้างแบบจำลองและจับภาพ
ZDเน็ต: สิ่งหนึ่งที่น่าประหลาดใจก็คือ คุณเป็นผู้สนับสนุนที่ดีในการพูดว่า "มันใช้ได้ผล เราจะหาทฤษฎีทางอุณหพลศาสตร์มาอธิบายในภายหลัง" คุณได้ใช้แนวทางที่ว่า “ฉันไม่รู้ว่าเราจะแก้ปัญหานี้ได้อย่างไร แต่ฉันอยากจะนำเสนอแนวคิดบางอย่างเพื่อคิดเกี่ยวกับเรื่องนี้” และอาจถึงขั้นเข้าใกล้ทฤษฎีหรือสมมติฐานที่ น้อยที่สุด. เป็นเรื่องที่น่าสนใจเพราะมีคนจำนวนมากที่ใช้จ่ายเงินจำนวนมากในการทำงานกับรถที่สามารถมองเห็นคนเดินถนนได้ ไม่ว่ารถจะมีสามัญสำนึกหรือไม่ก็ตาม และฉันคิดว่าคนเหล่านั้นบางคนจะไม่ถูกเลือก แต่พวกเขาจะพูดว่า "ไม่เป็นไร เราไม่สนว่ามันจะไม่มีเหตุผล เราได้สร้างแบบจำลองขึ้น การจำลองนั้นน่าทึ่งมาก และเราจะปรับปรุงอย่างต่อเนื่อง เราจะขยายการจำลองต่อไป”
ดังนั้นจึงเป็นเรื่องที่น่าสนใจที่คุณอยู่ในฐานะที่จะพูดได้ว่า ให้ถอยออกมาแล้วคิดว่าเรากำลังทำอะไรอยู่ และอุตสาหกรรมบอกว่าเรากำลังจะขยายขนาด มาตราส่วน มาตราส่วน มาตราส่วน เพราะข้อเหวี่ยงนั้นได้ผลจริงๆ ฉันหมายถึงข้อเหวี่ยงของเซมิคอนดักเตอร์ของ GPU ใช้งานได้จริง
วายแอล: มีคำถามห้าข้ออยู่ที่นั่น ฉันหมายถึงการปรับขนาดเป็นสิ่งที่จำเป็น ฉันไม่ได้วิพากษ์วิจารณ์ความจริงที่ว่าเราควรปรับขนาด เราควรปรับขนาด โครงข่ายประสาทเหล่านี้จะดีขึ้นเมื่อโตขึ้น ไม่ต้องสงสัยเลยว่าเราควรจะขยายขนาด และคนที่จะมีสติสัมปชัญญะในระดับหนึ่งก็จะยิ่งใหญ่ ฉันคิดว่าไม่มีทาง การปรับขนาดเป็นสิ่งที่ดี มันจำเป็น แต่ไม่เพียงพอ นั่นคือสิ่งที่ฉันกำลังทำ มันไม่ใช่แค่การปรับขนาด นั่นคือจุดแรก
จุดที่สอง ไม่ว่าทฤษฎีจะมาก่อนหรือไม่และอะไรทำนองนั้น ดังนั้น ฉันคิดว่ามีแนวคิดที่มาก่อนว่า คุณต้องถอยออกมาแล้วพูดว่า โอเค เราสร้างบันไดนี้ แต่เราอยากไปดวงจันทร์ และไม่มีทางที่บันไดนี้จะพาเราไปที่นั่นได้ โดยพื้นฐานแล้ว สิ่งที่ผมเขียนที่นี่คือ เราต้องสร้างจรวด ฉันไม่สามารถให้รายละเอียดเกี่ยวกับวิธีที่เราสร้างจรวดได้ แต่นี่คือหลักการพื้นฐาน และฉันไม่ได้เขียนทฤษฎีเกี่ยวกับมันหรืออะไร แต่มันจะเป็นจรวด ตกลงไหม? หรือลิฟต์อวกาศหรืออะไรก็ตาม เราอาจไม่มีรายละเอียดทั้งหมดของเทคโนโลยีทั้งหมด เรากำลังพยายามทำให้สิ่งเหล่านี้ได้ผล เหมือนกับว่าฉันกำลังทำงานกับ JEPA การฝังรอยต่อทำงานได้ดีมากสำหรับการจดจำภาพ แต่การนำไปใช้ในการฝึกโมเดลโลก นั้นเป็นเรื่องยาก เรากำลังดำเนินการอยู่ เราหวังว่าเราจะทำให้มันสำเร็จ soonแต่เราอาจพบอุปสรรคบางอย่างที่นั่นซึ่งเราไม่สามารถเอาชนะได้
ในบทความมีแนวคิดหลักเกี่ยวกับการให้เหตุผลว่า หากเราต้องการให้ระบบสามารถวางแผนได้ ซึ่งคุณสามารถคิดว่าเป็นรูปแบบการให้เหตุผลง่ายๆ ได้ พวกมันต้องมีตัวแปรแฝง กล่าวอีกนัยหนึ่ง สิ่งต่าง ๆ ที่ไม่ได้คำนวณโดยโครงข่ายประสาทใด ๆ แต่เป็นสิ่งที่มีค่าซึ่งถูกอนุมานเพื่อลดฟังก์ชันวัตถุประสงค์บางอย่าง ฟังก์ชันต้นทุนบางอย่าง จากนั้นคุณสามารถใช้ฟังก์ชันต้นทุนนี้เพื่อขับเคลื่อนพฤติกรรมของระบบ และนี่ไม่ใช่ความคิดใหม่เลยใช่ไหม นี่คือการควบคุมที่คลาสสิกและเหมาะสมที่สุดโดยที่พื้นฐานของสิ่งนี้ย้อนกลับไปในช่วงปลายยุค 50 ต้นยุค 60 ดังนั้นไม่อ้างความแปลกใหม่ใด ๆ ที่นี่ แต่สิ่งที่ผมกำลังจะบอกก็คือการอนุมานประเภทนี้ต้องเป็นส่วนหนึ่งของระบบอัจฉริยะที่สามารถวางแผนได้ และพฤติกรรมของใครที่สามารถระบุหรือควบคุมไม่ได้โดยพฤติกรรมเดินสาย ไม่ใช่โดยการเอียงตัวเลียนแบบ แต่โดยหน้าที่วัตถุประสงค์ที่ ขับเคลื่อนพฤติกรรม — ไม่จำเป็นต้องขับเคลื่อนการเรียนรู้ แต่ขับเคลื่อนพฤติกรรม คุณรู้ไหม เรามีสิ่งนั้นในสมองของเรา และสัตว์ทุกตัวมีต้นทุนที่แท้จริงหรือมีแรงจูงใจที่แท้จริงสำหรับสิ่งต่างๆ นั่นทำให้ทารกอายุเก้าเดือนต้องการที่จะลุกขึ้นยืน ต้นทุนของการมีความสุขเมื่อคุณยืนขึ้น คำนั้นในฟังก์ชันต้นทุนนั้นเดินสาย แต่การที่คุณยืนขึ้นไม่ใช่ นั่นคือการเรียนรู้
“การปรับขนาดเป็นสิ่งที่ดี มันจำเป็น แต่ไม่เพียงพอ” LeCun แห่งโมเดลภาษายักษ์ เช่น โปรแกรม Transformer-based ของ GPT-3 วาไรตี้ สาวก Transformer เชื่อว่า “เราสร้างทุกอย่างให้เป็นโทเค็นและฝึกฝนขนาดมหึมาแบบจำลองเพื่อคาดการณ์แบบแยกส่วน และด้วยเหตุใด AI ก็โผล่ออกมาจากสิ่งนี้ … แต่ฉันคิดว่ามันขาดส่วนสำคัญ”
ZDเน็ต: เพื่อสรุปประเด็นนั้น ชุมชนการเรียนรู้เชิงลึกส่วนใหญ่ดูเหมือนจะดีที่จะเดินหน้าต่อไปกับบางสิ่งที่ไม่มีสามัญสำนึก ดูเหมือนว่าคุณกำลังโต้แย้งอย่างชัดเจนว่าเมื่อถึงจุดหนึ่งมันจะกลายเป็นทางตัน บางคนบอกว่าเราไม่จำเป็นต้องมีรถขับเคลื่อนอัตโนมัติที่มีสามัญสำนึก เพราะการปรับขนาดจะช่วยได้ ดูเหมือนคุณกำลังพูดว่าไม่เป็นไรที่จะไปตามเส้นทางนั้นต่อไป?
วายแอล: คุณรู้ไหม ฉันคิดว่าเป็นไปได้อย่างยิ่งที่เราจะมีรถยนต์อิสระระดับ XNUMX ที่ไม่มีสามัญสำนึก แต่ปัญหาของแนวทางนี้ จะเกิดขึ้นชั่วคราว เพราะคุณจะต้องสร้างมันขึ้นมา คุณก็รู้ ทำแผนที่โลกทั้งใบ ลากสายพฤติกรรมกรณีมุมเฉพาะทุกประเภท รวบรวมข้อมูลให้เพียงพอว่าคุณมีสถานการณ์แปลก ๆ ทุกประเภทที่คุณพบบนท้องถนน บลา บลา บลา และฉันเดาว่าด้วยการลงทุนและเวลาที่เพียงพอ คุณสามารถสร้างนรกขึ้นมาได้ แต่ท้ายที่สุด มันจะมีทางออกที่น่าพึงพอใจและอาจเป็นไปได้มากกว่านั้น ซึ่งเกี่ยวข้องกับระบบที่เข้าใจวิธีการทำงานของโลกได้ดีขึ้น และมีระดับของสิ่งที่เราเรียกว่าสามัญสำนึกในระดับหนึ่ง ไม่จำเป็นต้องเป็นสามัญสำนึกระดับมนุษย์ แต่เป็นความรู้บางประเภทที่ระบบสามารถรับได้จากการดูแต่ไม่ได้ดูคนขับรถ แค่ดูสิ่งที่เคลื่อนที่ไปรอบๆ และเข้าใจโลกมาก สร้างรากฐานของภูมิหลัง ความรู้เกี่ยวกับวิธีการทำงานของโลก ซึ่งคุณสามารถเรียนรู้ที่จะขับรถได้
ผมขอยกตัวอย่างทางประวัติศาสตร์ของเรื่องนี้ คอมพิวเตอร์วิทัศน์แบบคลาสสิกนั้นใช้โมดูลทางวิศวกรรมเดินสายจำนวนมาก นอกนั้นคุณจะมีชั้นการเรียนรู้บางๆ ดังนั้น สิ่งที่ AlexNet พ่ายแพ้ในปี 2012 โดยพื้นฐานแล้วมีขั้นตอนแรก การสกัดคุณลักษณะแบบทำมือ เช่น SIFTs [Scale-Invariant Feature Transform (SIFT) ซึ่งเป็นเทคนิคการมองเห็นแบบคลาสสิกเพื่อระบุวัตถุเด่นในภาพ] และ HOG [Histogram of Oriented Gradients อีกเทคนิคคลาสสิก] และสิ่งอื่น ๆ มากมาย จากนั้นชั้นที่สองของคุณสมบัติระดับกลางที่เรียงลำดับตามเคอร์เนลของคุณสมบัติและอะไรก็ตามและวิธีการที่ไม่ได้รับการดูแล ยิ่งไปกว่านั้น คุณใส่เวกเตอร์เครื่องสนับสนุน หรือตัวแยกประเภทที่ค่อนข้างง่าย และนั่นคือ ประเภทของไปป์ไลน์มาตรฐานตั้งแต่กลางปี 2000 ถึงปี 2012 และถูกแทนที่ด้วยอวนแบบ end-to-end โดยที่คุณไม่ต้องต่อสายใดๆ เลย คุณเพียงแค่มีข้อมูลจำนวนมาก และคุณฝึกฝนสิ่งนั้นตั้งแต่ต้นจนจบ ซึ่งเป็นแนวทางที่ฉันสนับสนุนมาเป็นเวลานาน แต่คุณรู้ไหม จนกระทั่งถึงตอนนั้น มันใช้ไม่ได้กับปัญหาใหญ่ๆ
มีเรื่องที่คล้ายกันในการรู้จำคำพูด ซึ่งอีกครั้ง มีวิศวกรรมที่มีรายละเอียดจำนวนมากสำหรับวิธีที่คุณประมวลผลข้อมูลล่วงหน้า คุณแยก cepstrum ในระดับมวล [การผกผันของ Fast Fourier Transform สำหรับการประมวลผลสัญญาณ] จากนั้น คุณมีโมเดล Markov ที่ซ่อนอยู่พร้อมสถาปัตยกรรมที่ตั้งไว้ล่วงหน้า blah, blah, blah พร้อมส่วนผสมของ Gaussians ดังนั้นจึงเป็นสถาปัตยกรรมแบบเดียวกับวิสัยทัศน์ที่คุณสร้างส่วนหน้าด้วยมือ จากนั้นเป็นเลเยอร์กลางที่ไม่ได้รับการดูแล ผ่านการฝึกอบรม และชั้นบนสุด และตอนนี้ก็ถูกกำจัดโดยโครงข่ายประสาทแบบ end-to-end ดังนั้น ฉันเห็นบางสิ่งที่คล้ายกันในการพยายามเรียนรู้ทุกอย่าง แต่คุณต้องมีสถาปัตยกรรมที่เหมาะสม โครงสร้างที่ถูกต้องก่อน
กลุ่มรถไร้คนขับ สตาร์ทอัพอย่าง Waymo และ Wayve นั้น “มองโลกในแง่ดีไปหน่อย” เขากล่าว โดยคิดว่าพวกเขาสามารถ “ส่งข้อมูลไปให้กับมัน และคุณสามารถเรียนรู้อะไรก็ได้แทบทุกอย่าง” รถยนต์ไร้คนขับที่ระดับ 5 ของ ADAS นั้นเป็นไปได้ “แต่คุณจะต้องสร้างขุมพลังให้ออกมา” และจะ “เปราะบาง” เหมือนกับโมเดลคอมพิวเตอร์วิทัศน์ยุคแรกๆ
ZDเน็ต: สิ่งที่คุณพูดคือ บางคนจะพยายามสร้างสิ่งที่ใช้งานไม่ได้ในปัจจุบันด้วยการเรียนรู้เชิงลึกสำหรับการนำไปใช้ พูดในอุตสาหกรรม และพวกเขาจะเริ่มสร้างสิ่งที่ล้าสมัยในการมองเห็นด้วยคอมพิวเตอร์หรือไม่
วายแอล: ถูกต้อง. และส่วนหนึ่งเป็นสาเหตุที่คนที่ทำงานเกี่ยวกับการขับขี่แบบอัตโนมัติมองโลกในแง่ดีเกินไปเล็กน้อยในช่วงสองสามปีที่ผ่านมา เพราะคุณรู้ไหม คุณมีสิ่งเหล่านี้ ทั่วไป เช่น โครงตาข่ายและ Transformers ที่คุณสามารถโยนข้อมูลลงไปได้ และสามารถเรียนรู้อะไรก็ได้ คุณก็บอกว่า โอเค ฉันมีวิธีแก้ปัญหานั้นแล้ว สิ่งแรกที่คุณทำคือคุณสร้างตัวอย่างที่รถขับเองได้ไม่กี่นาทีโดยไม่ทำให้ใครเดือดร้อน แล้วคุณก็รู้ว่ามีหลายกรณีที่เข้ามุม และคุณพยายามวาดเส้นโค้งว่าฉันจะเก่งขึ้นแค่ไหน เมื่อฉันเพิ่มชุดการฝึกเป็นสองเท่า และคุณรู้ว่าคุณจะไม่มีวันไปถึงตรงนั้น เพราะมีกรณีเข้ามุมทุกประเภท . และคุณจำเป็นต้องมีรถที่จะทำให้เกิดอุบัติเหตุร้ายแรงถึงชีวิตน้อยกว่าทุกๆ 200 ล้านกิโลเมตรใช่ไหม? แล้วคุณจะทำอย่างไร? คุณเดินในสองทิศทาง
แนวทางแรกคือ ฉันจะลดปริมาณข้อมูลที่จำเป็นสำหรับระบบในการเรียนรู้ได้อย่างไร และนั่นคือที่มาของการเรียนรู้ด้วยตนเอง ดังนั้นชุดรถยนต์ที่ขับด้วยตนเองจำนวนมากจึงสนใจการเรียนรู้ด้วยตนเองเป็นอย่างมาก เพราะเป็นวิธีการยังคงใช้ข้อมูลการกำกับดูแลจำนวนมหาศาลสำหรับการเรียนรู้เลียนแบบ แต่ได้ประสิทธิภาพที่ดีขึ้นด้วย ก่อนการฝึกอบรมเป็นหลัก และมันยังไม่ปรากฎออกมาเลย แต่ก็จะเป็นเช่นนั้น แล้วก็มีทางเลือกอื่น ซึ่งบริษัทส่วนใหญ่ที่ก้าวหน้ากว่า ณ จุดนี้ได้นำมาใช้ ซึ่งก็คือ โอเค เราสามารถทำการฝึกอบรมตั้งแต่ต้นจนจบได้ แต่มีบางกรณีที่เราสามารถทำได้' ดังนั้นเราจะทำแค่วิศวกรรมระบบที่จะดูแลเคสมุมเหล่านั้น และโดยพื้นฐานแล้ว ถือว่ามันเป็นกรณีพิเศษ และต่อสายควบคุม จากนั้นเดินสายการทำงานพื้นฐานจำนวนมากเพื่อจัดการกับสถานการณ์พิเศษ และถ้าคุณมีทีมวิศวกรมากพอ คุณก็อาจจะดึงมันออกมาได้ แต่จะใช้เวลานาน และสุดท้ายก็ยังเปราะบาง เชื่อถือได้เพียงพอที่คุณจะปรับใช้ได้ แต่มีความเปราะบางในระดับหนึ่ง ซึ่งด้วยแนวทางการเรียนรู้เพิ่มเติมที่อาจปรากฏใน ในอนาคตรถยนต์จะไม่มี เพราะอาจมีสามัญสำนึกและความเข้าใจในระดับหนึ่งว่าโลกทำงานอย่างไร
ในระยะสั้น แนวทางเชิงวิศวกรรมจะชนะ — มันชนะอยู่แล้ว นั่นคือ Waymo และ Cruise of the world และ Wayveและอะไรก็ตาม นั่นคือสิ่งที่พวกเขาทำ จากนั้นจะมีแนวทางการเรียนรู้แบบควบคุมตนเองซึ่งอาจช่วยให้แนวทางการออกแบบมีความก้าวหน้า แต่แล้ว ในระยะยาว ซึ่งอาจจะนานเกินไปสำหรับบริษัทเหล่านั้นที่จะรอ อาจจะเป็นระบบขับเคลื่อนอัจฉริยะแบบอัตโนมัติที่บูรณาการมากขึ้น
ZDเน็ต: เราพูดเกินขอบเขตการลงทุนของนักลงทุนส่วนใหญ่
วายแอล: ถูกตัอง. ดังนั้น คำถามคือ ผู้คนจะสูญเสียความอดทนหรือหมดเงินก่อนที่ผลงานจะไปถึงระดับที่ต้องการหรือไม่
ZDเน็ต: มีอะไรน่าสนใจที่จะพูดเกี่ยวกับสาเหตุที่คุณเลือกองค์ประกอบบางอย่างที่คุณเลือกในแบบจำลองหรือไม่ เพราะคุณอ้างถึง Kenneth Craik [1943,ธรรมชาติของคำอธิบาย] และคุณอ้างถึงไบรสันและโฮ [1969, ใช้การควบคุมที่เหมาะสมที่สุด] และฉันอยากรู้ว่าทำไมคุณถึงเริ่มด้วยอิทธิพลเหล่านี้ ถ้าคุณเชื่อโดยเฉพาะอย่างยิ่งว่าคนเหล่านี้ได้รับอิทธิพลจากสิ่งที่พวกเขาทำ ทำไมคุณถึงเริ่มต้นที่นั่น?
วายแอล: ฉันไม่คิดว่าแน่นอนว่าพวกเขามีรายละเอียดทั้งหมดที่ถูกตอกย้ำ ดังนั้น ไบรสันและโฮ นี่คือหนังสือที่ฉันอ่านย้อนไปในปี 1987 เมื่อตอนที่ฉันยังทำงานเป็น postdoc กับเจฟฟรีย์ ฮินตันในโตรอนโต แต่ฉันรู้เกี่ยวกับสายงานนี้ล่วงหน้าตอนที่ฉันกำลังเขียนปริญญาเอก และทำการเชื่อมโยงระหว่างการควบคุมที่เหมาะสมกับ backprop โดยพื้นฐานแล้ว ถ้าคุณอยากเป็น Schmidhuber อีกคนหนึ่ง คุณจะบอกว่านักประดิษฐ์ที่แท้จริงของ backprop เป็นนักทฤษฎีการควบคุมที่ดีที่สุด Henry J. Kelley, Arthur Bryson และบางทีแม้แต่ Lev Pontryagin ซึ่งเป็นนักทฤษฎีชาวรัสเซียที่มีการควบคุมที่เหมาะสมที่สุด ในช่วงปลายยุค 50
ดังนั้น พวกเขาคิดออกแล้ว และที่จริง คุณสามารถเห็นรากของสิ่งนี้ คณิตศาสตร์ที่อยู่ด้านล่าง นั่นคือกลศาสตร์ลากรองจ์ ดังนั้นคุณสามารถกลับไปที่ออยเลอร์และลากรองจ์ อันที่จริง และค้นหาความแตกต่างของสิ่งนี้ในคำจำกัดความของกลไกคลาสสิกของลากรองจ์ ดังนั้น ในบริบทของการควบคุมที่เหมาะสม สิ่งที่คนเหล่านี้สนใจก็คือการคำนวณวิถีโคจรของจรวด คุณรู้ไหมว่านี่เป็นยุคอวกาศตอนต้น และถ้าคุณมีแบบจำลองของจรวด มันจะบอกคุณว่านี่คือสถานะของจรวด ณ เวลานั้น tและนี่คือการกระทำที่ฉันจะทำ ดังนั้น แรงขับและแอคทูเอเตอร์ชนิดต่าง ๆ นี่คือสถานะของจรวดในเวลา T + 1.
ZDเน็ต: โมเดลการดำเนินการของรัฐ โมเดลค่า
วายแอล: ถูกต้อง พื้นฐานของการควบคุม ดังนั้น ตอนนี้คุณสามารถจำลองการยิงจรวดของคุณโดยจินตนาการถึงลำดับของคำสั่ง จากนั้นคุณมีฟังก์ชันต้นทุน ซึ่งก็คือระยะทางของจรวดไปยังเป้าหมาย สถานีอวกาศ หรืออะไรก็ตามที่เป็น จากนั้นด้วยการไล่ระดับความชันบางอย่าง คุณสามารถคิดได้ว่าฉันจะอัปเดตลำดับการกระทำได้อย่างไร เพื่อให้จรวดเข้าใกล้เป้าหมายมากที่สุด และนั่นต้องมาจากการส่งสัญญาณย้อนกลับย้อนเวลากลับไป และนั่นคือการขยายพันธุ์ด้านหลัง การแผ่กลับแบบไล่ระดับ สัญญาณเหล่านั้น เรียกว่าตัวแปรคอนจูเกตในกลศาสตร์ลากรองจ์ แต่อันที่จริง พวกมันเป็นการไล่ระดับสี ดังนั้น พวกเขาจึงคิดค้น backprop แต่พวกเขาไม่ได้ตระหนักว่าหลักการนี้สามารถนำไปใช้ในการฝึกระบบแบบหลายขั้นตอนที่สามารถจดจำรูปแบบหรืออะไรทำนองนั้นได้ สิ่งนี้ไม่ได้เกิดขึ้นจริงจนกระทั่งช่วงปลายทศวรรษที่ 70 ต้นยุค 80 และจากนั้นก็ไม่ได้รับการนำไปใช้จริงและดำเนินการได้จนถึงกลางทศวรรษที่ 80 โอเค นี่คือจุดที่ backprop เริ่มต้นขึ้นจริงๆ เพราะมีคนแสดงให้เห็นว่านี่คือโค้ดสองสามบรรทัดที่คุณสามารถฝึกโครงข่ายประสาท ตั้งแต่ต้นจนจบ หลายชั้น และนั่นยกข้อจำกัดของ Perceptron และใช่ มีการเชื่อมต่อกับการควบคุมที่เหมาะสมที่สุด แต่ก็ไม่เป็นไร
ZDเน็ต: นั่นเป็นทางยาวที่จะบอกว่าอิทธิพลเหล่านี้ที่คุณเริ่มต้นกลับไปกลับมาและนั่นเป็นจุดเริ่มต้นที่สำคัญสำหรับคุณ?
วายแอล: ใช่ แต่ฉันคิดว่าสิ่งที่ผู้คนลืมไปบ้าง มีงานนิดหน่อยในเรื่องนี้ ย้อนกลับไปในยุค 90 หรือแม้แต่ยุค 80 รวมถึงคนอย่าง Michael Jordan [MIT Dept. of Brain และ Cognitive Sciences] และคนเช่นนั้นซึ่งไม่ได้ทำโครงข่ายประสาทอีกต่อไป แต่เป็นแนวคิดที่คุณสามารถใช้โครงข่ายประสาทในการควบคุม และคุณสามารถใช้แนวคิดคลาสสิกของการควบคุมที่เหมาะสมที่สุดได้ ดังนั้น สิ่งที่เรียกว่า model-predictive control สิ่งที่เรียกว่า model-predictive control แนวคิดนี้ที่คุณสามารถจำลองหรือจินตนาการถึงผลลัพธ์ของลำดับของการกระทำ หากคุณมีรูปแบบที่ดีของระบบที่คุณกำลังพยายามควบคุม และสภาพแวดล้อมที่มีอยู่ จากนั้นโดยการไล่ระดับสีโดยพื้นฐานแล้ว - นี่ไม่ใช่การเรียนรู้ นี่คือการอนุมาน - คุณสามารถหาลำดับการกระทำที่ดีที่สุดที่จะลดวัตถุประสงค์ของฉันลงได้ ฉันคิดว่าการใช้ฟังก์ชันต้นทุนกับตัวแปรแฝงสำหรับการอนุมาน ฉันคิดว่าเป็นสิ่งที่พืชผลในปัจจุบันของโครงข่ายประสาทขนาดใหญ่ได้ลืมไปแล้ว แต่เป็นองค์ประกอบที่คลาสสิกมากของการเรียนรู้ด้วยเครื่องเป็นเวลานาน ดังนั้น ทุก Bayesian Net หรือแบบจำลองกราฟิก หรือแบบจำลองกราฟิกที่น่าจะใช้การอนุมานประเภทนี้ คุณมีโมเดลที่จับการพึ่งพาระหว่างกลุ่มของตัวแปร คุณจะได้รับแจ้งค่าของตัวแปรบางตัว จากนั้นคุณต้องอนุมานค่าที่เป็นไปได้มากที่สุดของตัวแปรที่เหลือ นั่นคือหลักการพื้นฐานของการอนุมานในรูปแบบกราฟิกและเบย์เซียนเน็ตส์ และสิ่งต่างๆ เช่นนั้น และฉันคิดว่านั่นเป็นพื้นฐานว่าการให้เหตุผลควรเกี่ยวกับการให้เหตุผลและการวางแผน
ZDเน็ต: คุณเป็นตู้เสื้อผ้าแบบเบย์เซียน
วายแอล: ฉันเป็นคนเบย์เซียนที่ไม่น่าจะเป็น ฉันทำเรื่องตลกนั้นมาก่อน จริงๆ แล้วฉันอยู่ที่ NeurIPS เมื่อสองสามปีก่อน ฉันคิดว่าเป็นปี 2018 หรือ 2019 และฉันก็โดนวิดีโอจากคนเบย์เซียนคนหนึ่งที่ถามฉันว่าเป็นคนเบย์เซียนหรือเปล่า และฉันก็ตอบว่า อ๋อ ฉันเป็นคนเบย์ แต่ฉัน เป็นคนเบย์เซียนที่ไม่น่าจะเป็น แบบเบย์ แบบอิงพลังงาน ถ้าคุณต้องการ
ZDเน็ต: ซึ่งฟังดูเหมือนบางอย่างจาก Trek สตาร์. คุณพูดถึงตอนท้ายของบทความนี้ ต้องใช้เวลาหลายปีในการทำงานหนักเพื่อตระหนักถึงสิ่งที่คุณฝันถึง บอกฉันเกี่ยวกับงานบางส่วนในขณะนี้ประกอบด้วย
วายแอล: ดังนั้นฉันจึงอธิบายวิธีที่คุณฝึกฝนและสร้าง JEPA ในกระดาษ และเกณฑ์ที่ฉันสนับสนุนคือมีวิธีในการเพิ่มเนื้อหาข้อมูลให้สูงสุดซึ่งการเป็นตัวแทนที่ถูกดึงออกมามีเกี่ยวกับการป้อนข้อมูล แล้วอันที่สองกำลังลดข้อผิดพลาดในการทำนายให้น้อยที่สุด และถ้าคุณมีตัวแปรแฝงในตัวทำนายซึ่งทำให้ตัวทำนายไม่สามารถกำหนดได้ คุณจะต้องทำให้ตัวแปรแฝงนี้เป็นปกติด้วยการลดเนื้อหาข้อมูลให้น้อยที่สุด ดังนั้น ตอนนี้คุณมีปัญหาสองประการ ซึ่งเป็นวิธีที่คุณเพิ่มเนื้อหาข้อมูลของเอาต์พุตของ neural net ให้สูงสุด และอีกประเด็นหนึ่งคือ คุณจะลดเนื้อหาข้อมูลของตัวแปรแฝงบางตัวได้อย่างไร และถ้าคุณไม่ทำสองสิ่งนี้ ระบบจะล่มสลาย มันจะไม่เรียนรู้อะไรที่น่าสนใจ มันจะให้พลังงานเป็นศูนย์กับทุกสิ่ง อะไรทำนองนั้น ซึ่งไม่ใช่แบบจำลองที่ดีของการพึ่งพาอาศัยกัน เป็นปัญหาป้องกันการล่มสลายที่ฉันพูดถึง
และฉันกำลังพูดถึงทุกสิ่งที่ผู้คนเคยทำมา มีเพียงสองวิธีในการป้องกันการล่มสลาย วิธีหนึ่งคือวิธีที่ตรงกันข้าม และอีกวิธีหนึ่งคือวิธีที่ทำให้เป็นมาตรฐาน ดังนั้น แนวคิดในการเพิ่มเนื้อหาข้อมูลของการแทนค่าของอินพุตทั้งสองให้มากที่สุด และลดเนื้อหาข้อมูลของตัวแปรแฝงให้เหลือน้อยที่สุด ซึ่งเป็นของวิธีการที่ทำให้เป็นมาตรฐาน แต่งานจำนวนมากในสถาปัตยกรรมการฝังร่วมกันนั้นใช้วิธีการที่ตรงกันข้าม อันที่จริงพวกเขาน่าจะได้รับความนิยมมากที่สุดในขณะนี้ ดังนั้น คำถามคือคุณจะวัดเนื้อหาข้อมูลในลักษณะที่คุณสามารถเพิ่มประสิทธิภาพหรือย่อได้อย่างไร และนั่นคือสิ่งที่ซับซ้อนเพราะเราไม่รู้จริงๆ ว่าจะวัดเนื้อหาข้อมูลอย่างไร เราสามารถประมาณค่ามัน เราสามารถขีดบนได้ เราสามารถทำสิ่งนั้นได้ แต่จริง ๆ แล้วพวกเขาไม่ได้วัดเนื้อหาข้อมูลซึ่งจริง ๆ แล้วไม่ได้กำหนดไว้อย่างดีในระดับหนึ่ง
ZDเน็ต: มันไม่ใช่กฎของแชนนอน? ไม่ใช่ทฤษฎีสารสนเทศ? คุณมีเอนโทรปีจำนวนหนึ่ง เอนโทรปีที่ดีและเอนโทรปีที่ไม่ดี และเอนโทรปีที่ดีคือระบบสัญลักษณ์ที่ใช้งานได้ เอนโทรปีที่ไม่ดีคือสัญญาณรบกวน แชนนอนไม่แก้ทั้งหมดเหรอ?
วายแอล: คุณพูดถูก แต่มีข้อบกพร่องที่สำคัญอยู่เบื้องหลัง คุณคิดถูกแล้ว ถ้าคุณมีข้อมูลเข้ามา และคุณสามารถวัดปริมาณข้อมูลให้เป็นสัญลักษณ์ที่ไม่ต่อเนื่อง จากนั้นคุณวัดความน่าจะเป็นของแต่ละสัญลักษณ์เหล่านั้น จำนวนสูงสุดของข้อมูลที่แสดงโดยสัญลักษณ์เหล่านั้นคือ รวมสัญลักษณ์ที่เป็นไปได้ของ Pi ล็อก Pi, ขวา? ที่ไหน Pi คือความน่าจะเป็นของสัญลักษณ์ ผม - นั่นคือเอนโทรปีของแชนนอน [กฎของแชนนอนมักถูกกำหนดเป็น H = – ∑ pi log pi.]
นี่คือปัญหาแม้ว่า: คืออะไร Pi? เป็นเรื่องง่ายเมื่อจำนวนสัญลักษณ์มีน้อยและมีการวาดสัญลักษณ์อย่างอิสระ เมื่อมีสัญลักษณ์และการพึ่งพามากมาย มันยากมาก ดังนั้น หากคุณมีลำดับบิตและถือว่าบิตเป็นอิสระจากกัน และความน่าจะเป็นเท่ากับหนึ่งถึงศูนย์หรืออะไรก็ตาม คุณจะสามารถวัดเอนโทรปีได้อย่างง่ายดาย ไม่มีปัญหา แต่ถ้าสิ่งที่มาหาคุณเป็นเวกเตอร์มิติสูงอย่าง คุณก็รู้ กรอบข้อมูล หรืออะไรประมาณนี้ Pi? การกระจายคืออะไร? ก่อนอื่นคุณต้องหาปริมาณของพื้นที่นั้น ซึ่งเป็นพื้นที่ที่มีมิติสูงและต่อเนื่องกัน คุณไม่มีความคิดที่จะหาปริมาณสิ่งนี้อย่างถูกต้อง คุณสามารถใช้ k-mean เป็นต้น นี่คือสิ่งที่ผู้คนทำเมื่อพวกเขาบีบอัดวิดีโอและบีบอัดรูปภาพ แต่มันเป็นเพียงการประมาณเท่านั้น จากนั้นคุณต้องตั้งสมมติฐานเกี่ยวกับความเป็นอิสระ ดังนั้นจึงเป็นที่ชัดเจนว่าในวิดีโอ เฟรมที่ต่อเนื่องกันนั้นไม่เป็นอิสระจากกัน มีการพึ่งพาอาศัยกัน และเฟรมนั้นอาจขึ้นอยู่กับอีกเฟรมหนึ่งที่คุณเห็นเมื่อหนึ่งชั่วโมงที่แล้ว ซึ่งเป็นภาพเดียวกัน รู้แล้ววัดไม่ได้ Pi. ไปวัด Piคุณต้องมีระบบการเรียนรู้ของเครื่องที่เรียนรู้ที่จะทำนาย ดังนั้นคุณกลับไปที่ปัญหาก่อนหน้า ดังนั้น คุณสามารถประมาณการวัดของข้อมูลเท่านั้น โดยพื้นฐานแล้ว
“คำถามคือคุณจะวัดเนื้อหาข้อมูลในลักษณะที่คุณสามารถเพิ่มประสิทธิภาพหรือย่อขนาดได้อย่างไร” LeCun กล่าว “และนั่นคือสิ่งที่ซับซ้อนเพราะเราไม่รู้จริงๆ ว่าจะวัดเนื้อหาข้อมูลอย่างไร” สิ่งที่ดีที่สุดที่ทำได้ในตอนนี้คือการหาพร็อกซี่ที่ “ดีพอสำหรับงานที่เราต้องการ”
ผมขอยกตัวอย่างที่เป็นรูปธรรมมากขึ้น หนึ่งในอัลกอริธึมที่เราเคยเล่นด้วย และฉันได้พูดถึงในส่วนนี้ คือสิ่งที่เรียกว่า VICReg การปรับให้เป็นมาตรฐานความแปรปรวน-ค่าคงที่-ความแปรปรวนร่วม มันอยู่ในกระดาษแยกต่างหากที่ตีพิมพ์ที่ ICLR และ มันถูกวางบน arXiv ประมาณหนึ่งปีก่อน พ.ศ. 2021 และแนวคิดก็คือการเพิ่มข้อมูลให้สูงสุด และความคิดก็ออกมาจากกระดาษก่อนหน้าโดยกลุ่มของฉันที่ชื่อ บาร์โลว์ ฝาแฝด. คุณเพิ่มเนื้อหาข้อมูลของเวกเตอร์ที่ออกมาจากโครงข่ายประสาทโดยพื้นฐานแล้ว โดยพื้นฐานแล้ว สมมติว่าการพึ่งพาระหว่างตัวแปรเพียงอย่างเดียวคือความสัมพันธ์ การพึ่งพาเชิงเส้น ดังนั้น หากคุณคิดว่าการพึ่งพาอาศัยกันเพียงอย่างเดียวที่เป็นไปได้ระหว่างคู่ของตัวแปร หรือระหว่างตัวแปรในระบบของคุณ คือความสัมพันธ์ระหว่างคู่ของค่าซึ่งเป็นค่าประมาณคร่าวๆ คุณสามารถเพิ่มเนื้อหาข้อมูลที่ออกมาจากระบบของคุณให้ได้สูงสุด โดยการทำให้แน่ใจว่าตัวแปรทั้งหมดมีความแปรปรวนที่ไม่เป็นศูนย์ — สมมุติว่า ความแปรปรวนหนึ่งไม่สำคัญว่ามันคืออะไร — แล้วเชื่อมโยงกลับกัน กระบวนการเดียวกันที่เรียกว่าการฟอกสีฟัน ไม่ใช่เรื่องใหม่เช่นกัน ปัญหาคือคุณสามารถมีการพึ่งพาที่ซับซ้อนอย่างมากระหว่างกลุ่มของตัวแปรใดกลุ่มหนึ่งหรือแม้แต่เพียงคู่ของตัวแปรที่ไม่ใช่การพึ่งพาเชิงเส้นและจะไม่ปรากฏในความสัมพันธ์ ตัวอย่างเช่น ถ้าคุณมีตัวแปรสองตัว และจุดทั้งหมดของตัวแปรสองตัวนั้นเรียงกันเป็นวงก้นหอย มีการพึ่งพากันอย่างมากระหว่างตัวแปรสองตัวนี้ จริงไหม? แต่ที่จริงแล้ว ถ้าคุณคำนวณความสัมพันธ์ระหว่างตัวแปรสองตัวนี้ พวกมันจะไม่สัมพันธ์กัน นี่คือตัวอย่างที่เนื้อหาข้อมูลของตัวแปรสองตัวนี้จริง ๆ แล้วมีขนาดเล็กมาก มันเป็นเพียงปริมาณเดียวเพราะเป็นตำแหน่งของคุณในเกลียว พวกมันไม่มีความสัมพันธ์กัน ดังนั้น คุณคิดว่าคุณมีข้อมูลมากมายที่ออกมาจากตัวแปรสองตัวนี้ โดยที่จริงๆ แล้วคุณไม่มี คุณรู้แค่ว่า คุณสามารถทำนายตัวแปรตัวหนึ่งจากตัวแปรอื่นได้ โดยพื้นฐานแล้ว นั่นแสดงว่าเรามีวิธีการวัดเนื้อหาข้อมูลโดยประมาณเท่านั้น
ZDเน็ต: แล้วนี่เป็นหนึ่งในสิ่งที่คุณต้องทำตอนนี้ด้วยเหรอ? นี่เป็นคำถามที่ใหญ่กว่าว่าเราจะรู้ได้อย่างไรว่าเรากำลังเพิ่มและลดเนื้อหาข้อมูลให้มากที่สุด
วายแอล: หรือว่าพร็อกซีที่เราใช้อยู่นี้ดีพอสำหรับงานที่เราต้องการหรือไม่ อันที่จริง เราทำสิ่งนี้ตลอดเวลาในการเรียนรู้ของเครื่อง ฟังก์ชันต้นทุนที่เราย่อให้เล็กสุดไม่เคยเป็นฟังก์ชันที่เราต้องการลดจริง ตัวอย่างเช่น คุณต้องการจัดหมวดหมู่ โอเค? ฟังก์ชันต้นทุนที่คุณต้องการลดให้น้อยที่สุดเมื่อคุณฝึกตัวแยกประเภทคือจำนวนข้อผิดพลาดที่ตัวแยกประเภททำ แต่นั่นเป็นฟังก์ชันต้นทุนที่ไม่แตกต่างกันและแย่มาก ซึ่งคุณไม่สามารถลดขนาดได้เพราะคุณรู้ว่าคุณกำลังจะเปลี่ยนน้ำหนักของโครงข่ายประสาทของคุณ ไม่มีอะไรจะเปลี่ยนแปลงได้ จนกว่าตัวอย่างหนึ่งจะพลิกการตัดสินใจ แล้วก็กระโดด ในข้อผิดพลาดบวกหรือลบ
ZDเน็ต: ดังนั้น คุณมีพร็อกซี่ซึ่งเป็นฟังก์ชันวัตถุประสงค์ที่คุณสามารถพูดได้อย่างแน่นอน เราสามารถไล่ระดับการไล่ระดับของสิ่งนี้ได้อย่างแน่นอน
วายแอล: ถูกตัอง. ดังนั้นผู้คนจึงใช้การสูญเสียเอนโทรปีแบบไขว้ หรือ SOFTMAX คุณมีชื่อเรียกหลายชื่อ แต่ก็เป็นสิ่งเดียวกัน และโดยพื้นฐานแล้วเป็นการประมาณจำนวนข้อผิดพลาดที่ระบบทำอย่างราบรื่น โดยพื้นฐานแล้วการปรับให้เรียบนั้นทำได้โดยคำนึงถึงคะแนนที่ระบบมอบให้กับแต่ละหมวดหมู่
ZDเน็ต: มีอะไรที่เรายังไม่ครอบคลุมที่คุณต้องการครอบคลุมหรือไม่
วายแอล: มันน่าจะเน้นประเด็นหลัก ฉันคิดว่าระบบ AI จะต้องสามารถให้เหตุผลได้ และกระบวนการที่ฉันสนับสนุนคือการลดวัตถุประสงค์บางอย่างที่เกี่ยวข้องกับตัวแปรแฝงบางตัว ที่ช่วยให้ระบบสามารถวางแผนและให้เหตุผลได้ ฉันคิดว่าเราควรละทิ้งกรอบความน่าจะเป็น เพราะมันยากเย็นแสนเข็ญเมื่อเราต้องการทำสิ่งต่างๆ เช่น จับการพึ่งพาระหว่างตัวแปรที่มีมิติสูงและต่อเนื่องกัน และฉันกำลังสนับสนุนให้ละทิ้งแบบจำลองกำเนิด เพราะระบบจะต้องใช้ทรัพยากรมากเกินไป ในการทำนายสิ่งต่าง ๆ ที่ยากเกินกว่าจะคาดเดา และอาจใช้ทรัพยากรมากเกินไป และนั่นก็ค่อนข้างมาก นั่นคือข้อความหลักถ้าคุณต้องการ แล้วสถาปัตยกรรมโดยรวม จากนั้นก็มีการคาดเดาเกี่ยวกับธรรมชาติของจิตสำนึกและบทบาทของผู้กำหนดค่า แต่นี่เป็นการเก็งกำไรจริงๆ
ZDเน็ต: เราจะไปที่นั้นในครั้งต่อไป ฉันจะถามคุณว่าคุณเปรียบเทียบสิ่งนี้อย่างไร แต่ฉันเดาว่าคุณอยู่ไกลจากการเปรียบเทียบเล็กน้อยในตอนนี้?
วายแอล: ไม่จำเป็นว่าจะต้องอยู่ในเวอร์ชันที่เรียบง่าย คุณสามารถทำสิ่งที่ทุกคนทำในการควบคุมหรือการเรียนรู้การเสริมกำลัง ซึ่งก็คือ คุณฝึกสิ่งนั้นเพื่อเล่นเกม Atari หรืออะไรทำนองนั้น หรือเกมอื่นๆ ที่มีความไม่แน่นอนอยู่ในนั้น
ZDเน็ต: ขอบคุณสำหรับเวลาของคุณ Yann
English
Arabic
Belarusian
Bengali
Bosnian
Bulgarian
Chinese (Simplified)
Croatian
Czech
Danish
Dutch
English
Estonian
Filipino
Finnish
French
Georgian
German
Greek
Gujarati
Hausa
Hebrew
Hindi
Hmong
Hungarian
Igbo
Indonesian
Italian
Japanese
Javanese
Kazakh
Korean
Kurdish (Kurmanji)
Kyrgyz
Lao
Latvian
Lithuanian
Macedonian
Malagasy
Norwegian
Persian
Polish
Portuguese
Punjabi
Romanian
Russian
Serbian
Slovak
Slovenian
Spanish
Swedish
Thai
Turkish
Ukrainian
Vietnamese
Yoruba