Keep Calm and Stay Smart
04:29
მეტას AI გურუ ლეკუნი: დღევანდელი AI მიდგომების უმეტესობა არასოდეს მიგვიყვანს ნამდვილ ინტელექტამდე
”მე ვფიქრობ, რომ ხელოვნური ინტელექტის სისტემებს უნდა შეეძლოთ მსჯელობა,” - ამბობს იან ლეკუნი, Meta-ს მთავარი AI მეცნიერი. დღევანდელი პოპულარული AI მიდგომები, როგორიცაა ტრანსფორმერები, რომელთაგან ბევრი ეფუძნება მის პიონერულ მუშაობას ამ სფეროში, არ იქნება საკმარისი. „თქვენ უნდა გადადგათ ნაბიჯი უკან და თქვათ, კარგი, ჩვენ ავაშენეთ ეს კიბე, მაგრამ ჩვენ გვინდა მთვარეზე წასვლა და არავითარ შემთხვევაში ეს კიბე არ მიგვიყვანს“, - ამბობს ლეკუნი.
იან ლეკუნი, AI-ის მთავარი მეცნიერი Meta Properties-მა, Facebook-ის, Instagram-ისა და WhatsApp-ის მფლობელი, სავარაუდოდ, თავის სფეროში ბევრ ადამიანს გამოარჩევს.
ივნისში აზროვნების სტატიის გამოქვეყნებით ღია განხილვის სერვერზელეკუნმა შემოგვთავაზა მიდგომის ფართო მიმოხილვა, რომელიც, მისი აზრით, დაპირებაა მანქანებში ადამიანის დონის დაზვერვის მისაღწევად.
ახლა პოპულარულია
ნაგულისხმევი თუ არ არის ასახული ნაშრომში, არის მტკიცება, რომ დღევანდელი მსხვილი პროექტების უმეტესობა ხელოვნური ინტელექტის სფეროში ვერასოდეს მიაღწევს ამ ადამიანურ დონეზე მიზანს.
ამ თვეში გამართულ დისკუსიაში იქნებით აქტიური ფორუმში Zoom-ის საშუალებით ლეკუნი ცხადყოფს, რომ ის დიდი სკეპტიციზმით უყურებს ღრმა სწავლის კვლევის ბევრ ყველაზე წარმატებულ გზას.
"ვფიქრობ, ისინი აუცილებელია, მაგრამ არა საკმარისი", - განუცხადა ტურინგის ჯილდოს გამარჯვებულმა იქნებით აქტიური ფორუმში მისი თანატოლების სწრაფვა.
ეს მოიცავს დიდ ენობრივ მოდელებს, როგორიცაა ტრანსფორმერზე დაფუძნებული GPT-3 და მათი მსგავსი. როგორც ლეკუნი ახასიათებს, Transformer-ის ერთგულებს სწამთ: „ჩვენ ყველაფერს ვაკეთებთ და გიგანტურ ვარჯიშებსმოდელები დისკრეტული პროგნოზების გასაკეთებლად და როგორმე ხელოვნური ინტელექტი გამოვა აქედან.”
”ისინი არ ცდებიან,” ამბობს ის, ”იმ გაგებით, რომ ეს შეიძლება იყოს მომავალი ინტელექტუალური სისტემის კომპონენტი, მაგრამ ვფიქრობ, რომ მას აკლია მნიშვნელოვანი ნაწილები.”
ასევე: Meta-ს ხელოვნური ინტელექტის მნათობი LeCun იკვლევს ღრმა სწავლის ენერგეტიკულ ზღვარს
ეს არის გასაოცარი კრიტიკა იმის შესახებ, რაც, როგორც ჩანს, მუშაობს, მოდის მეცნიერისგან, რომელმაც დაასრულა კონვოლუციური ნერვული ქსელების გამოყენება, პრაქტიკული ტექნიკა, რომელიც წარმოუდგენლად პროდუქტიული იყო ღრმა სწავლის პროგრამებში.
ლეკუნი ხედავს ხარვეზებს და შეზღუდვებს დისციპლინის სხვა უაღრესად წარმატებულ სფეროებში.
განმტკიცების სწავლა ასევე არასოდეს იქნება საკმარისი, ამბობს ის. მკვლევარები, როგორიცაა დევიდ სილვერი DeepMind-დან, რომელმაც შეიმუშავა AlphaZero პროგრამა, რომელიც დაეუფლა ჭადრაკს, შოგისა და გოს, ფოკუსირებულნი არიან პროგრამებზე, რომლებიც „ძალიან მოქმედებებზეა დაფუძნებული“, აღნიშნავს ლეკუნი, მაგრამ „სწავლის უმეტესობას ჩვენ არ ვაკეთებთ. ამის გაკეთება რეალურად ქმედებებით, ჩვენ ამას ვაკეთებთ დაკვირვებით“.
62 წლის ლეკუნი, ათწლეულების მიღწევების პერსპექტივიდან, მაინც გამოხატავს აუცილებლობას, დაუპირისპირდეს იმას, რაც, მისი აზრით, არის უსინათლო ჩიხები, რომლისკენაც ბევრი შეიძლება მიიჩქაროს, და შეეცადოს თავისი სფერო იმ მიმართულებით მიიყვანოს, რომლის აზრითაც საქმეები უნდა წავიდეს.
ახლა პოპულარულია
”ჩვენ ვხედავთ უამრავ პრეტენზიას იმის შესახებ, თუ რა უნდა გავაკეთოთ იმისათვის, რომ წინ წავიწიოთ ადამიანის დონის ხელოვნური ინტელექტისკენ,” - ამბობს ის. ”და არის იდეები, რომლებიც, ჩემი აზრით, არასწორია.”
„ჩვენ არ ვართ იმ დონემდე, რომ ჩვენს ინტელექტუალურ მანქანებს ისეთივე საღი აზრი ჰქონდეთ, როგორც კატას“, შენიშნავს ლეკუნი. "მაშ, რატომ არ დავიწყოთ იქ?"
მან მიატოვა წინანდელი რწმენა გენერაციული ქსელების გამოყენებაში ისეთ საკითხებში, როგორიცაა ვიდეოს შემდეგი კადრის პროგნოზირება. "ეს იყო სრული მარცხი," ამბობს ის.
ლეკუნი გმობს მათ, ვინც მას "რელიგიურ ალბათობისტებს" უწოდებს, რომლებიც "თვლიან, რომ ალბათობის თეორია ერთადერთი ჩარჩოა, რომელიც შეგიძლიათ გამოიყენოთ მანქანური სწავლის ასახსნელად".
წმინდა სტატისტიკური მიდგომა განუკურნებელია, ამბობს ის. „ძალიან ბევრია იმის მოთხოვნა, რომ მსოფლიო მოდელი იყოს სრულიად ალბათური; ჩვენ არ ვიცით როგორ გავაკეთოთ ეს“.
არა მხოლოდ აკადემიკოსებს, არამედ ინდუსტრიულ AI-ს სჭირდება ღრმა გადახედვა, ამტკიცებს ლეკუნი. თვითმართვადი მანქანების ბრბო, სტარტაპები, როგორიცაა Wayve, იყო „ცოტა მეტისმეტად ოპტიმისტურად განწყობილი“, ამბობს ის, რადგან ფიქრობდნენ, რომ მათ შეეძლოთ „მონაცემების გადატანა“ დიდ ნერვულ ქსელებში „და თქვენ შეგიძლიათ ისწავლოთ თითქმის ყველაფერი“.
”იცით, ვფიქრობ, სრულიად შესაძლებელია, რომ ჩვენ გვქონდეს მეხუთე დონის ავტონომიური მანქანები საღი აზრის გარეშე”, - ამბობს ის, გულისხმობს ”ADAS-ს”. მოწინავე მძღოლის დახმარების სისტემა თვითმმართველობის მართვის პირობები, "მაგრამ თქვენ მოგიწევთ ამის ინჟინერია".
ასეთი ზედმეტად შემუშავებული თვითმართვის ტექნოლოგია ისეთივე მღელვარე და მყიფე იქნება, როგორც ყველა კომპიუტერული ხედვის პროგრამა, რომელიც ღრმა სწავლის შედეგად მოძველდა, თვლის ის.
„საბოლოოდ, იქნება უფრო დამაკმაყოფილებელი და, შესაძლოა, უკეთესი გადაწყვეტა, რომელიც მოიცავს სისტემებს, რომლებიც უკეთესად ასრულებენ სამყაროს მუშაობის გაგებას“.
ახლა პოპულარულია
ამ გზაზე, ლეკუნი გვთავაზობს თავის უდიდეს კრიტიკოსებს, მაგალითად, ნიუ-იორკის უნივერსიტეტის პროფესორ გარი მარკუსს - "მას არასოდეს არაფერი შეუტანია ხელოვნური ინტელექტის განვითარებაში" - და იურგენ შმიდჰუბერი, Dalle Molle-ის ხელოვნური ინტელექტის კვლევის ინსტიტუტის თანადირექტორი - "ეს არის დროშის დარგვა ძალიან ადვილია“.
კრიტიკის მიღმა, ლეკუნის მიერ გაკეთებული უფრო მნიშვნელოვანი პუნქტი არის ის, რომ გარკვეული ფუნდამენტური პრობლემები აწყდება ყველა ხელოვნურ ინტელექტს, კერძოდ, როგორ გავზომოთ ინფორმაცია.
”თქვენ უნდა გადადგათ ნაბიჯი უკან და თქვათ, კარგი, ჩვენ ავაშენეთ ეს კიბე, მაგრამ ჩვენ გვინდა მთვარეზე წასვლა და არ არსებობს გზა, რომ ეს კიბე იქამდე მიგვიყვანს”, - ამბობს ლეკუნი მისი სურვილის შესახებ, გადახედოს. ძირითადი ცნებები. „ძირითადად, რასაც მე აქ ვწერ, არის ის, რომ ჩვენ უნდა ავაშენოთ რაკეტები, დეტალებს ვერ მოგცემთ, თუ როგორ ვაშენებთ რაკეტებს, მაგრამ აქ არის ძირითადი პრინციპები.
ნაშრომი და ლეკუნის აზრები ინტერვიუში, უკეთესად გაიგებთ ლეკუნის ინტერვიუს ამ წლის დასაწყისში. იქნებით აქტიური ფორუმში რომელშიც ის ამტკიცებს ენერგიაზე დაფუძნებული თვითმმართველობის ზედამხედველობით სწავლებას, როგორც ღრმა სწავლის წინსვლის გზას. ეს ასახვები იძლევა ძირითადი მიდგომის განცდას, რასაც ის იმედოვნებს, რომ ააშენებს, როგორც ალტერნატივას იმ ნივთებისა, რომლებიც, მისი თქმით, არ მიაღწევს ფინიშის ხაზს.
შემდეგი არის ინტერვიუს მსუბუქად დამუშავებული ჩანაწერი.
ZDNet: ჩვენი ჩეთის საგანია ეს ნაშრომი, „გზა ავტონომიური მანქანების დაზვერვისკენ“, რომელი ვერსიის 0.9.2 არის არსებული ვერსია, დიახ?
იან ლეკუნი: დიახ, მე მიმაჩნია, რომ ეს არის სამუშაო დოკუმენტი. ასე რომ, მე გამოვაქვეყნე ის Open Review-ზე, ველოდები ხალხის კომენტარებისა და წინადადებების გაკეთებას, შესაძლოა, დამატებით მითითებებს და შემდეგ გამოვამუშავებ შესწორებულ ვერსიას.
ახლა პოპულარულია
ZDNet: ვხედავ, რომ იურგენ შმიდჰუბერმა უკვე დაამატა რამდენიმე კომენტარი Open Review-ში.
YL: ჰო, ის ყოველთვის აკეთებს. ჩემს ნაშრომში იქვე მოვიყვან მის ერთ-ერთ ნაშრომს. ვფიქრობ, ის არგუმენტები, რომლებიც მან სოციალურ ქსელებში წამოაყენა, რომ მან ეს ყველაფერი ძირითადად 1991 წელს გამოიგონა, როგორც ამას სხვა შემთხვევებში აკეთებდა, უბრალოდ ასე არ არის. ვგულისხმობ, რომ ამის გაკეთება ძალიან ადვილიადროშის დარგვა და, ერთგვარი, იდეის დაწერა ყოველგვარი ექსპერიმენტების, ყოველგვარი თეორიის გარეშე, უბრალოდ შემოგვთავაზეთ, რომ ამის გაკეთება შეგიძლიათ ამ გზით. მაგრამ, მოგეხსენებათ, არის დიდი განსხვავება მხოლოდ იდეის ქონას შორის, შემდეგ სათამაშოს პრობლემაზე მუშაობის დაწყებას და შემდეგ რეალურ პრობლემაზე მუშაობის დაწყებას შორის, შემდეგ კი თეორიის გაკეთებას შორის, რომელიც აჩვენებს, თუ რატომ მუშაობს ეს და შემდეგ მისი განლაგება. არსებობს მთელი ჯაჭვი და მისი წარმოდგენა მეცნიერული კრედიტის შესახებ არის ის, რომ ეს არის პირველი ადამიანი, რომელსაც უბრალოდ, მოგეხსენებათ, ჰქონდა ამის იდეა, რომელმაც უნდა მიიღოს მთელი დამსახურება. და ეს სასაცილოა.
ZDNet: არ დაიჯეროთ ყველაფერი, რასაც სოციალურ ქსელებში ისმენთ.
YL: ვგულისხმობ, მთავარ ნაშრომს, რომელსაც ის ამბობს, რომ უნდა მოვიყვანო, არ აქვს არცერთი მთავარი იდეა, რაზეც მე ვსაუბრობ ნაშრომში. მან ეს ასევე გააკეთა GAN-ებთან და სხვა საკითხებთან ერთად, რაც სიმართლე არ აღმოჩნდა. დროშის დარგვა ადვილია, წვლილის შეტანა გაცილებით რთულია. და, სხვათა შორის, ამ კონკრეტულ ნაშრომში, მე პირდაპირ ვთქვი, რომ ეს არ არის სამეცნიერო ნაშრომი ტერმინის ჩვეულებრივი გაგებით. ეს უფრო პოზიციური დოკუმენტია იმის შესახებ, თუ სად უნდა წავიდეს ეს რამ. და არსებობს რამდენიმე იდეა, რომელიც შეიძლება იყოს ახალი, მაგრამ მათი უმეტესობა ასე არ არის. არსებითად, მე არ ვამტკიცებ რაიმე პრიორიტეტს იმაზე, რაც დავწერე ამ ნაშრომში.
განმტკიცების სწავლა ასევე არასდროს იქნება საკმარისი, ირწმუნება ლეკუნი. მკვლევარები, როგორიცაა დევიდ სილვერი DeepMind-დან, რომელმაც შეიმუშავა AlphaZero პროგრამა, რომელიც დაეუფლა ჭადრაკს, შოგისა და გოს, არიან „ძალიან მოქმედებებზე დაფუძნებული“, აღნიშნავს ლეკუნი, მაგრამ „სწავლის უმეტესი ნაწილი, რასაც ჩვენ ვაკეთებთ, ჩვენ ამას არ ვაკეთებთ რეალურად მიღებით. ქმედებები, ჩვენ ამას ვაკეთებთ დაკვირვებით“.
ZDNet: და ეს, ალბათ, კარგი ადგილია დასაწყებად, რადგან მაინტერესებს, რატომ გაჰყევი ამ გზას ახლა? რამ დაგაფიქრა ამაზე? რატომ გინდოდა ამის დაწერა?
YL: მაშ ასე, მე ძალიან დიდი ხანია ვფიქრობ ამაზე, გზაზე ადამიანის დონის ან ცხოველის დონის ინტელექტისა თუ სწავლისა და შესაძლებლობებისკენ. და ჩემს საუბრისას მე საკმაოდ ხმამაღლა ვამბობდი ამ საკითხს, რომ როგორც ზედამხედველობითი სწავლა, ასევე განმამტკიცებელი სწავლა არასაკმარისია იმისთვის, რომ მივბაძოთ სწავლის ტიპს, რომელსაც ვაკვირდებით ცხოველებსა და ადამიანებში. დაახლოებით შვიდი თუ რვა წელია ამას ვაკეთებ. ასე რომ, ეს არ არის ბოლო. მე მქონდა კონფერენცია NeurIPS-ში მრავალი წლის წინ, სადაც ავღნიშნე ეს აზრი, არსებითად, და სხვადასხვა მოლაპარაკებები, არის ჩანაწერები. ახლა რატომ დაწერე ნაშრომი? მე მივედი აზრამდე - [Google Brain-ის მკვლევარმა] ჯეფ ჰინტონმა მსგავსი რამ გააკეთა - ვგულისხმობ, რა თქმა უნდა, მასზე მეტად, ჩვენ ვხედავთ, რომ დრო იწურება. ჩვენ ახალგაზრდები არ ვართ.
ZDNet: სამოცი არის ახალი ორმოცდაათი.
YL: ეს მართალია, მაგრამ საქმე იმაშია, რომ ჩვენ ვხედავთ უამრავ პრეტენზიას იმის შესახებ, თუ რა უნდა გავაკეთოთ იმისათვის, რომ წინ წავიწიოთ ხელოვნური ინტელექტის ადამიანური დონისკენ. და არის იდეები, რომლებიც, ჩემი აზრით, არასწორია. ასე რომ, ერთი იდეა არის, ოჰ, ჩვენ უბრალოდ უნდა დავამატოთ სიმბოლური მსჯელობა ნერვულ ბადეებზე. და მე არ ვიცი როგორ გავაკეთო ეს. ასე რომ, შესაძლოა ის, რაც მე ავხსენი ნაშრომში, შეიძლება იყოს ერთი მიდგომა, რომელიც იგივეს გააკეთებდა აშკარა სიმბოლოებით მანიპულირების გარეშე. ეს არის მსოფლიოს ტრადიციულად გარი მარკუსესის სახეობა. გარი მარკუსი არ არის ხელოვნური ინტელექტის მქონე ადამიანი, სხვათა შორის, ის ფსიქოლოგია. მას არასოდეს არაფერი შეუტანია AI-ში. მან მართლაც კარგი სამუშაო გააკეთა ექსპერიმენტულ ფსიქოლოგიაში, მაგრამ არასოდეს დაუწერია რეცენზირებული ნაშრომი ხელოვნური ინტელექტის შესახებ. ასე რომ, არის ის ხალხი.
მსოფლიოში არის [DeepMind-ის პრინციპის მკვლევარი] დევიდ სილვერსი, რომელიც ამბობს, იცით, ჯილდო საკმარისია, ძირითადად, ეს ყველაფერი განმტკიცების სწავლაზეა, ჩვენ უბრალოდ უნდა გავხადოთ ის ცოტა უფრო ეფექტური, კარგი? და მე ვფიქრობ, რომ ისინი არ ცდებიან, მაგრამ ვფიქრობ, რომ აუცილებელი ნაბიჯები გაძლიერებული სწავლის უფრო ეფექტური გახადისთვის, ძირითადად, გადააქცევს გაძლიერებულ სწავლებას ნამცხვრის ალუბლის დალაგებაზე. და მთავარი დაკარგული ნაწილი არის იმის სწავლა, თუ როგორ მუშაობს სამყარო, ძირითადად დაკვირვებით მოქმედების გარეშე. განმტკიცების სწავლა არის ძალიან ქმედებებზე დაფუძნებული, თქვენ სწავლობთ სამყაროს შესახებ მოქმედებების განხორციელებით და შედეგების დანახვით.
ZDNet: და ეს ორიენტირებულია ჯილდოზე.
YL: ეს არის ჯილდოზე ორიენტირებული და ასევე მოქმედებაზე. ასე რომ, თქვენ უნდა იმოქმედოთ სამყაროში, რომ შეძლოთ რაღაცის სწავლა სამყაროს შესახებ. და მთავარი პრეტენზია, რომელსაც მე გამოვთქვამ ნაშრომში თვითკონტროლირებადი სწავლის შესახებ, არის ის, რომ სწავლის უმეტესობას ჩვენ ვაკეთებთ, ჩვენ ამას არ ვაკეთებთ რეალურად ქმედებებით, ჩვენ ამას ვაკეთებთ დაკვირვებით. და ეს ძალიან არაორდინალურია, როგორც გაძლიერებული სწავლის მქონე ადამიანებისთვის, განსაკუთრებით, ასევე ბევრი ფსიქოლოგისთვის და შემეცნებით მეცნიერებისთვის, რომლებიც ფიქრობენ, რომ, იცით, მოქმედება არის - მე არ ვამბობ, რომ მოქმედება არ არის აუცილებელი, is არსებითი. მაგრამ მე ვფიქრობ, რომ ჩვენი სწავლების უმეტესი ნაწილი ძირითადად სამყაროს სტრუქტურას ეხება და მოიცავს, რა თქმა უნდა, ურთიერთქმედებას, მოქმედებას და თამაშს და მსგავს რაღაცეებს, მაგრამ ბევრი მათგანი დაკვირვებულია.
ZDNet: თქვენ ასევე მოახერხებთ ტრანსფორმატორის ხალხის, ენის პირველი ხალხის მონიშვნას, ამავე დროს. როგორ ავაშენოთ ეს პირველ რიგში ენის გარეშე? თქვენ შეიძლება მოახერხოთ ბევრი ადამიანის მონიშვნა.
YL: ჰო, ამას მიჩვეული ვარ. ასე რომ, დიახ, არის პირველი ხალხი, ვინც ამბობს, იცით, ინტელექტი ენაზეა, ინტელექტის სუბსტრატი არის ენა, ბლა, ბლა, ბლა. მაგრამ ეს, ერთგვარი, უარყოფს ცხოველთა ინტელექტს. იცით, ჩვენ არ ვართ იმ დონემდე, რომ ჩვენს ინტელექტუალურ მანქანებს ისეთივე საღი აზრი ჰქონდეთ, როგორც კატას. მაშ, რატომ არ დავიწყოთ იქ? რა არის ის, რაც კატას საშუალებას აძლევს დაიპყროს გარემომცველი სამყარო, გააკეთოს საკმაოდ ჭკვიანური საქმეები და დაგეგმოს და მსგავსი რამ, ხოლო ძაღლებს კიდევ უკეთესი?
შემდეგ არის ყველა ადამიანი, ვინც ამბობს, ოჰ, ინტელექტი სოციალური რამ არის, არა? ჩვენ ჭკვიანები ვართ, რადგან ერთმანეთს ვესაუბრებით და ინფორმაციას ვცვლით და ბლა, ბლა, ბლა. არის ყველა სახის არასოციალური სახეობა, რომელიც არასდროს ხვდება ძალიან ჭკვიან მშობლებს, როგორიცაა რვაფეხა ან ორანგუტანები.მე ვგულისხმობ, რომ ისინი [ორანგუტანები], რა თქმა უნდა, არიან განათლებული მათი დედის მიერ, მაგრამ ისინი არ არიან სოციალური ცხოველები.
მაგრამ ადამიანთა სხვა კატეგორია, რომელსაც შეიძლება გამოვყო, არის ადამიანები, რომლებიც ამბობენ, რომ სკალირება საკმარისია. ასე რომ, ძირითადად, ჩვენ უბრალოდ ვიყენებთ გიგანტურ ტრანსფორმატორებს, ვავარჯიშებთ მათ მულტიმოდალურ მონაცემებზე, რომლებიც მოიცავს ვიდეოს, ტექსტს, ბლა, ბლა, ბლა. ჩვენ, ერთგვარი, გაქვავებულიყველაფერი და ტოკენიზება ყველაფერი და შემდეგ გიგანტური ვარჯიშიმოდელები დისკრეტული პროგნოზების გასაკეთებლად, ძირითადად, და როგორღაც AI გამოვა აქედან. ისინი არ ცდებიან, იმ გაგებით, რომ ეს შეიძლება იყოს მომავალი ინტელექტუალური სისტემის კომპონენტი. მაგრამ ვფიქრობ, რომ მას აკლია ძირითადი ნაწილები.
არის ადამიანთა კიდევ ერთი კატეგორია, რომელსაც ამ ნაშრომით ვაპირებ აღნიშვნას. და ეს ალბათობისტები, რელიგიური ალბათები. ასე რომ, ადამიანები, რომლებიც ფიქრობენ ალბათობის თეორიაზე, არის ერთადერთი ჩარჩო, რომელიც შეგიძლიათ გამოიყენოთ მანქანური სწავლის ასახსნელად. და როგორც ვცდილობდი ავხსნა სტატიაში, ძირითადად ზედმეტია იმის მოთხოვნა, რომ მსოფლიო მოდელი იყოს სრულიად ალბათური. ჩვენ არ ვიცით როგორ მოვიქცეთ. არის გამოთვლების შეუძლებლობა. ამიტომ მე ვთავაზობ მთლიანად ამ იდეის უარყოფას. და რა თქმა უნდა, მოგეხსენებათ, ეს არის არა მხოლოდ მანქანური სწავლების, არამედ მთელი სტატისტიკის უზარმაზარი საყრდენი, რომელიც ამტკიცებს, რომ ჩვეულებრივი ფორმალიზმია მანქანათმცოდნეობისთვის.
სხვა რამ -
ZDNet: თქვენ თამაშში ხართ…
YL: - ეს არის ის, რასაც გენერაციული მოდელები ჰქვია. ასე რომ, იდეა, რომ თქვენ შეგიძლიათ ისწავლოთ პროგნოზირება და, შესაძლოა, ბევრი რამ გაიგოთ მსოფლიოს შესახებ წინასწარმეტყველებით. ასე რომ, მე გაძლევთ ვიდეოს და ვთხოვ სისტემას წინასწარ განსაზღვროს რა მოხდება შემდეგ ვიდეოში. და მე შეიძლება გთხოვოთ პროგნოზირება რეალური ვიდეო ჩარჩოები ყველა დეტალით. მაგრამ ის, რაზეც მე ვკამათო ქაღალდში არის ის, რომ ეს რეალურად ძალიან ბევრია მოსათხოვნი და ძალიან რთული. და ეს არის რაღაც, რაზეც გადავიფიქრე. დაახლოებით ორი წლის წინ, მე ვიყავი ადვოკატი, რასაც მე ვუწოდებ ლატენტურ ცვლადის გენერაციულ მოდელებს, მოდელები, რომლებიც პროგნოზირებენ რა მოხდება შემდეგ ან ინფორმაცია, რომელიც აკლია, შესაძლოა ლატენტური ცვლადის დახმარებით, თუ პროგნოზირება შეუძლებელია. განმსაზღვრელი. და მე უარი ვთქვი ამაზე. და მიზეზი, რის გამოც ამაზე უარი ვთქვი, ეფუძნება ემპირიულ შედეგებს, სადაც ადამიანები ცდილობდნენ გამოეყენებინათ, დახარისხება, პროგნოზირება ან რეკონსტრუქციაზე დაფუძნებული ტრენინგი, რომელიც გამოიყენება BERT-ში.და დიდი ენობრივი მოდელები, ისინი ცდილობდნენ ამის გამოყენებას სურათებზე და ეს იყო სრული მარცხი. და მისი სრული წარუმატებლობის მიზეზი, ისევ და ისევ, არის ალბათური მოდელების შეზღუდვები, სადაც შედარებით ადვილია დისკრეტული ნიშნების პროგნოზირება, როგორიცაა სიტყვები, რადგან ჩვენ შეგვიძლია გამოვთვალოთ ალბათობის განაწილება ლექსიკონში ყველა სიტყვაზე. Ეს ადვილია. მაგრამ თუ ჩვენ ვთხოვთ სისტემას, რომ აწარმოოს ალბათობის განაწილება ყველა შესაძლო ვიდეო ჩარჩოზე, წარმოდგენა არ გვაქვს, როგორ მოვახდინოთ მისი პარამეტრიზაცია, ან გვაქვს გარკვეული წარმოდგენა, როგორ მოვახდინოთ მისი პარამეტრიზაცია, მაგრამ არ ვიცით როგორ მოვახდინოთ მისი ნორმალიზება. ის ხვდება გადაუჭრელ მათემატიკურ პრობლემას, რომლის გადაჭრაც არ ვიცით.
„ჩვენ არ ვართ იმ დონემდე, რომ ჩვენს ინტელექტუალურ მანქანებს ისეთივე საღი აზრი ჰქონდეთ, როგორც კატას“, შენიშნავს ლეკუნი. „მაშ, რატომ არ დავიწყოთ იქ? რა არის ის, რაც კატას საშუალებას აძლევს დაიპყროს გარემომცველი სამყარო, გააკეთოს საკმაოდ ჭკვიანური საქმეები და დაგეგმოს და მსგავსი რამ, ხოლო ძაღლებს კიდევ უკეთესი?
ამიტომ, მე ვამბობ, მოდით, უარი თქვან ალბათობის თეორიაზე ან მსგავსი რაღაცეების ჩარჩოზე, უფრო სუსტი, ენერგიაზე დაფუძნებულ მოდელებზე. მე ამის მომხრე ვარ, ასევე, ათწლეულების განმავლობაში, ასე რომ, ეს არ არის უახლესი რამ. მაგრამ ამავდროულად, გენერაციული მოდელების იდეის მიტოვება, რადგან მსოფლიოში ბევრი რამ არის გაუგებარი და არაპროგნოზირებადი. თუ ინჟინერი ხარ, ამას ხმაურს ეძახი. თუ ფიზიკოსი ხარ, ამას სითბოს ეძახი. და თუ თქვენ ხართ მანქანათმცოდნეობის ადამიანი, თქვენ ამას უწოდებთ, იცით, შეუსაბამო დეტალებს ან სხვას.
ასე რომ, მაგალითი, რომელიც მე გამოვიყენე ნაშრომში, ან გამოვიყენე მოლაპარაკებებში, არის ის, რომ გსურთ მსოფლიოს პროგნოზირების სისტემა, რომელიც დაგეხმარებათ თვითმართვადი მანქანაში, არა? მას სურს წინასწარ განსაზღვროს ყველა სხვა მანქანების ტრაექტორია, რა დაემართება სხვა ობიექტებს, რომლებიც შესაძლოა გადაადგილდნენ, ფეხით მოსიარულეებს, ველოსიპედებს, ფეხბურთის ბურთის უკან მორბენალ ბავშვს, მსგავსი რამ. ასე რომ, ყველანაირი რამ სამყაროს შესახებ. მაგრამ გზის მიმდებარედ, შეიძლება იყოს ხეები და დღეს ქარია, ამიტომ ფოთლები მოძრაობენ ქარში, ხეების უკან არის აუზი, და არის ტალღები აუზში. და ეს ძირითადად არაპროგნოზირებადი ფენომენებია. და, თქვენ არ გინდათ, რომ თქვენმა მოდელმა დახარჯოს რესურსების მნიშვნელოვანი რაოდენობა იმ საგნების პროგნოზირებისთვის, რაც ძნელია პროგნოზირებადი და შეუსაბამო. ამიტომ მე მხარს ვუჭერ ერთობლივი ჩაშენების არქიტექტურას, იმ საგნებს, სადაც ცვლადი, რომლის მოდელირებასაც ცდილობთ, არ ცდილობთ მის პროგნოზირებას, თქვენ ცდილობთ მის მოდელირებას, მაგრამ ის გადის ენკოდერში და ამ ენკოდერს შეუძლია ამოიღოს ბევრი დეტალი შეყვანის შესახებ, რომლებიც შეუსაბამო ან ძალიან რთულია - ძირითადად, ხმაურის ტოლფასი.
ZDNet: ჩვენ განვიხილეთ ამ წლის დასაწყისში ენერგიაზე დაფუძნებული მოდელები, JEPA და H-JEPA. ჩემი აზრით, თუ სწორად მესმის, თქვენ პოულობთ დაბალი ენერგიის წერტილს, სადაც X და Y ჩაშენების ეს ორი პროგნოზი ყველაზე მეტად ჰგავს, რაც ნიშნავს, რომ თუ ერთში არის მტრედი ხეზე და არის რაღაც სცენის ფონზე, ეს შეიძლება არ იყოს ის არსებითი პუნქტები, რაც ამ ჩაშენებებს ერთმანეთთან ახლოს აყენებს.
YL: უფლება. ასე რომ, JEPA არქიტექტურა რეალურად ცდილობს მოძებნოს კომპრომისი, კომპრომისი, წარმოდგენების ამოღებას შორის, რომლებიც მაქსიმალურად ინფორმატიულია შეყვანის შესახებ, მაგრამ ასევე პროგნოზირებადია ერთმანეთისგან გარკვეული დონის სიზუსტით ან სანდოობით. ის პოულობს კომპრომისს. ასე რომ, თუ მას აქვს არჩევანი დახარჯოს უზარმაზარი რესურსები, მათ შორის ფოთლების მოძრაობის დეტალები, და შემდეგ დინამიკის მოდელირება, რომელიც გადაწყვეტს, როგორ მოძრაობენ ფოთლები ამ მომენტიდან, ან უბრალოდ ჩამოაგდებენ იატაკზე. უბრალოდ ძირითადად Y ცვლადის გაშვება პროგნოზირების საშუალებით, რომელიც გამორიცხავს ყველა ამ დეტალს, ის ალბათ უბრალოდ აღმოფხვრის მას, რადგან ძალიან რთულია მოდელირება და გადაღება.
ZDNet: ერთი რამ, რაც გასაკვირია, არის ის, რომ თქვენ დიდი მომხრე იყავით იმის თქმის: „მუშაობს, ჩვენ მოგვიანებით გავარკვევთ თერმოდინამიკის თეორიას მის ასახსნელად“. აქ თქვენ აიღეთ მიდგომა: „არ ვიცი, როგორ მოვაგვარებთ ამას, მაგრამ მსურს წამოვაყენო გარკვეული იდეები, რომ დავფიქრდეთ მასზე“ და, შესაძლოა, მივუახლოვდეთ თეორიას ან ჰიპოთეზას. სულ მცირე. ეს საინტერესოა, რადგან ბევრი ადამიანი ხარჯავს უამრავ ფულს მანქანაზე მუშაობისას, რომელსაც შეუძლია ფეხით მოსიარულეთა დანახვა, მიუხედავად იმისა, აქვს თუ არა მანქანას საღი აზრი. და მე წარმომიდგენია, რომ ზოგიერთი მათგანი არ იქნება მონიშნული, მაგრამ ისინი იტყვიან: ”კარგია, ჩვენ არ გვაინტერესებს, თუ მას არ აქვს საღი აზრი, ჩვენ ავაშენეთ სიმულაცია, სიმულაცია საოცარია, და ჩვენ გავაგრძელებთ გაუმჯობესებას, ჩვენ გავაგრძელებთ სიმულაციის მასშტაბებს.”
ასე რომ, საინტერესოა, რომ ახლა თქვენ გაქვთ შესაძლებლობა თქვათ, მოდით გადავდგათ ნაბიჯი უკან და ვიფიქროთ რას ვაკეთებთ. და ინდუსტრია ამბობს, რომ ჩვენ უბრალოდ ვაპირებთ მასშტაბებს, მასშტაბებს, მასშტაბებს, მასშტაბებს, რადგან ეს ამწე ნამდვილად მუშაობს. ვგულისხმობ, რომ GPU-ების ნახევარგამტარული ამწე ნამდვილად მუშაობს.
YL: აქ არის, მაგალითად, ხუთი კითხვა. ასე რომ, ვგულისხმობ, სკალირება აუცილებელია. მე არ ვაკრიტიკებ იმ ფაქტს, რომ ჩვენ უნდა გავზომოთ. უნდა გავზომოთ. ეს ნერვული ბადეები უმჯობესდება, რაც უფრო დიდი ხდება. არ არის კითხვა, რომ ჩვენ უნდა გავზომოთ. და ისინი, ვისაც ექნება გარკვეული დონის საღი აზრი, დიდი იქნება. არავითარი გზა არ არსებობს, ვფიქრობ. ასე რომ, სკალირება კარგია, აუცილებელია, მაგრამ არა საკმარისი. ეს არის ის აზრი, რასაც მე ვაფიქსირებ. ეს არ არის მხოლოდ მასშტაბირება. ეს არის პირველი წერტილი.
მეორე წერტილი, არის თუ არა თეორია პირველ რიგში და მსგავსი რამ. ასე რომ, ვფიქრობ, არის ცნებები, რომლებიც პირველ რიგში მოდის, რომ თქვენ უნდა გადადგათ ნაბიჯი უკან და თქვათ, კარგი, ჩვენ ავაშენეთ ეს კიბე, მაგრამ ჩვენ გვინდა მთვარეზე წასვლა და არავითარ შემთხვევაში ეს კიბე არ მიგვიყვანს. ასე რომ, ძირითადად, რასაც აქ ვწერ, რაკეტები უნდა ავაშენოთ. დეტალებს ვერ გეტყვით, როგორ ვაშენებთ რაკეტებს, მაგრამ აქ არის ძირითადი პრინციპები. და მე არ ვწერ თეორიას ამისთვის ან სხვა რამეზე, მაგრამ ეს რაკეტა იქნება, კარგი? ან კოსმოსური ლიფტი ან სხვა. ჩვენ შეიძლება არ გვქონდეს ყველა ტექნოლოგიის ყველა დეტალი. ჩვენ ვცდილობთ, რომ ზოგიერთი რამ იმუშაოს, როგორც მე ვმუშაობ JEPA-ზე. ერთობლივი ჩაშენება ნამდვილად კარგად მუშაობს გამოსახულების ამოცნობისთვის, მაგრამ მისი გამოყენება მსოფლიო მოდელის მოსამზადებლად, არის სირთულეები. ჩვენ ვმუშაობთ მასზე, ვიმედოვნებთ, რომ მოვახერხებთ soon, მაგრამ ჩვენ შეიძლება შეგვხვდეს გარკვეული დაბრკოლებები, რომლებსაც ვერ გადავლახავთ, შესაძლოა.
შემდეგ ნაშრომში არის ძირითადი იდეა მსჯელობის შესახებ, სადაც თუ გვინდა, რომ სისტემებმა შეძლონ დაგეგმვა, რაც შეიძლება მსჯელობის მარტივ ფორმად წარმოიდგინოთ, მათ უნდა ჰქონდეთ ფარული ცვლადები. სხვა სიტყვებით რომ ვთქვათ, საგნები, რომლებიც არ არის გამოთვლილი რაიმე ნერვული ქსელით, მაგრამ ისეთი საგნები, რომლებიც გამოითვლება - რომელთა ღირებულება დასკვნაა ისე, რომ მინიმუმამდე დაიყვანოს ზოგიერთი ობიექტური ფუნქცია, ზოგიერთი ხარჯის ფუნქცია. შემდეგ თქვენ შეგიძლიათ გამოიყენოთ ეს ხარჯების ფუნქცია სისტემის ქცევისთვის. და ეს სულაც არ არის ახალი იდეა, არა? ეს არის ძალიან კლასიკური, ოპტიმალური კონტროლი, სადაც ამის საფუძველი 50-იანი წლების ბოლოს, 60-იანი წლების დასაწყისში მიდის. ასე რომ, აქ რაიმე სიახლეს არ ვამტკიცებ. მაგრამ რასაც მე ვამბობ არის ის, რომ ამ ტიპის დასკვნა უნდა იყოს ინტელექტუალური სისტემის ნაწილი, რომელსაც შეუძლია დაგეგმოს და რომლის ქცევა შეიძლება დაკონკრეტდეს ან კონტროლდებოდეს არა მყარი ქცევით, არა იმიტაციის მიდრეკილებით, არამედ ობიექტური ფუნქციით. ამოძრავებს ქცევას - არ უწყობს ხელს სწავლას, აუცილებლად, მაგრამ ქცევას უბიძგებს. თქვენ იცით, ჩვენ ეს გვაქვს ჩვენს ტვინში და ყველა ცხოველს აქვს შინაგანი ღირებულება ან შინაგანი მოტივაცია ნივთებისთვის. ეს ცხრა თვის ბავშვებს უბიძგებს ადგომის სურვილით. ფეხზე დგომისას ბედნიერების ღირებულება, ეს ტერმინი ხარჯების ფუნქციაში არის გამაგრებული. მაგრამ როგორ დგახარ არაა, ეს სწავლაა.
„სკალირება კარგია, აუცილებელია, მაგრამ არა საკმარისი“, ამბობს ლეკუნი გიგანტური ენის მოდელების შესახებ, როგორიცაა GPT-3 ჯიშის ტრანსფორმერზე დაფუძნებული პროგრამები. Transformer-ის ერთგულებს სჯერათ: „ჩვენ ვაკეთებთ ყველაფერს და ვამზადებთ გიგანტურსმოდელები დისკრეტული პროგნოზების გასაკეთებლად და როგორღაც ხელოვნური ინტელექტი გამოვა აქედან... მაგრამ მე ვფიქრობ, რომ მას აკლია მნიშვნელოვანი ნაწილები.”
ZDNet: ამ პუნქტის დასამრგვალებლად, ღრმა სწავლის საზოგადოების უმეტესი ნაწილი, როგორც ჩანს, კარგად აგრძელებს საქმეს, რომელსაც არ აქვს საღი აზრი. როგორც ჩანს, აქ საკმაოდ მკაფიო არგუმენტი გაქვთ, რომ რაღაც მომენტში ის ჩიხში იქცევა. ზოგი ამბობს, რომ ჩვენ არ გვჭირდება ავტონომიური მანქანა საღი აზრით, რადგან სკალირება ამას გააკეთებს. როგორც ჩანს, თქვენ ამბობთ, რომ არ არის კარგი ამ გზის გაგრძელება?
YL: იცით, მე ვფიქრობ, რომ სავსებით შესაძლებელია, გვეყოს მეხუთე დონის ავტონომიური მანქანები საღი აზრის გარეშე. მაგრამ ამ მიდგომის პრობლემა, ეს იქნება დროებითი, რადგან თქვენ მოგიწევთ ჯოჯოხეთის ინჟინერია. მაშ, თქვენ იცით, მოამზადეთ მთელი სამყარო, დააფიქსირეთ ყველა სახის კონკრეტული კუთხური ქცევა, შეაგროვეთ საკმარისი მონაცემები, რომ გქონდეთ ყველა ისეთი უცნაური სიტუაცია, რომელიც შეიძლება გზებზე შეგხვდეთ, ბლა, ბლა, ბლა. და ჩემი ვარაუდით არის ის, რომ საკმარისი ინვესტიციითა და დროით, თქვენ შეგიძლიათ უბრალოდ ჯოჯოხეთის გამომუშავება. მაგრამ საბოლოო ჯამში, იქნება უფრო დამაკმაყოფილებელი და, შესაძლოა, უკეთესი გადაწყვეტა, რომელიც მოიცავს სისტემებს, რომლებიც უკეთესად ასრულებენ სამყაროს მუშაობის გაგებას და, მოგეხსენებათ, აქვთ გარკვეული დონე, რასაც ჩვენ საღი აზროვნებას ვუწოდებთ. ეს არ უნდა იყოს ადამიანის დონის საღი აზრი, არამედ გარკვეული ტიპის ცოდნა, რომელიც სისტემას შეუძლია შეიძინოს ყურებით, მაგრამ არა ყურებით, თუ როგორ მოძრაობს, უბრალოდ უყურებს რაღაცეებს, რომლებიც მოძრაობენ და ბევრი რამ გაიგებს სამყაროს შესახებ, აყალიბებს ფონის საფუძველს. ცოდნა იმის შესახებ, თუ როგორ მუშაობს სამყარო, რომლის თავზეც შეგიძლიათ ისწავლოთ ტარება.
ამის ისტორიულ მაგალითს მოვიყვან. კლასიკური კომპიუტერული ხედვა დაფუძნებული იყო უამრავ ტექნიკურ, ტექნოლოგიურ მოდულზე, რომელთა თავზე გექნებოდათ სწავლის თხელი ფენა. ასე რომ, პერსონალს, რომელიც AlexNet-მა დაამარცხა 2012 წელს, ძირითადად ჰქონდა პირველი ეტაპი, ერთგვარი, ხელნაკეთი ფუნქციების ამოღება, როგორიცაა SIFTs [Scale-Invariant Feature Transform (SIFT), კლასიკური ხედვის ტექნიკა გამოსახულების გამორჩეული ობიექტების იდენტიფიცირებისთვის] და HOG [ორიენტირებული გრადიენტების ჰისტოგრამა, კიდევ ერთი კლასიკური ტექნიკა] და სხვა სხვა რამ. და შემდეგ მეორე ფენა, ერთგვარი, საშუალო დონის ფუნქციები, რომლებიც დაფუძნებულია ფუნქციების ბირთვებზე და სხვაზე, და ერთგვარი უკონტროლო მეთოდი. და ამის გარდა, თქვენ აყენებთ დამხმარე ვექტორულ მანქანას, ან შედარებით მარტივ კლასიფიკატორს. და ეს იყო, ერთგვარი, სტანდარტული მილსადენი 2000-იანი წლების შუა პერიოდიდან 2012 წლამდე. და ის შეიცვალა ბოლოდან ბოლომდე კონვოლუციური ბადეებით, სადაც თქვენ არ აკავშირებთ არცერთ მათგანს, უბრალოდ გაქვთ ბევრი მონაცემი, და თქვენ ავარჯიშებთ ნივთს ბოლოდან ბოლომდე, რაც არის მიდგომა, რომელსაც დიდი ხნის განმავლობაში ვუჭერდი მხარს, მაგრამ იცით, რომ მანამდე არ იყო პრაქტიკული დიდი პრობლემებისთვის.
იყო მსგავსი ამბავი მეტყველების ამოცნობაში, სადაც, ისევ და ისევ, იყო დიდი რაოდენობით დეტალური ინჟინერია, თუ როგორ ამუშავებდი მონაცემებს, ამოიღებ მასისმასშტაბიან ცეპსტრუმს [სწრაფი ფურიეს ტრანსფორმაციის შებრუნებული სიგნალის დამუშავებისთვის] და შემდეგ თქვენ გაქვთ დამალული მარკოვის მოდელები, ერთგვარი, წინასწარ დაყენებული არქიტექტურით, ბლა, ბლა, ბლა, გაუსელების ნაზავით. ასე რომ, ეს არის ცოტა იგივე არქიტექტურა, როგორც ხედვა, სადაც თქვენ გაქვთ ხელნაკეთი წინა ნაწილი, შემდეგ კი გარკვეულწილად უკონტროლო, გაწვრთნილი, შუა ფენა, შემდეგ კი ზედამხედველობის ქვეშ მყოფი ფენა. და ახლა ეს, ძირითადად, წაშლილია ბოლოდან ბოლომდე ნერვული ბადეებით. ასე რომ, მე რაღაც მსგავსს ვხედავ იქ, რომ ვცდილობ ვისწავლო ყველაფერი, მაგრამ თქვენ უნდა გქონდეთ სწორი წინასწარი, სწორი არქიტექტურა, სწორი სტრუქტურა.
თვითმართვადი მანქანების ბრბო, სტარტაპები, როგორიცაა Waymo და Wayve, "ცოტა ზედმეტად ოპტიმისტურად განწყობილნი არიან", ამბობს ის, რადგან ფიქრობენ, რომ მათ შეეძლოთ "მონაცემების გადატანა და თქვენ შეგიძლიათ ისწავლოთ თითქმის ყველაფერი". ADAS-ის მე-5 დონეზე თვითმართვადი მანქანები შესაძლებელია, „მაგრამ თქვენ მოგიწევთ ჯოჯოხეთის ინჟინერია“ და იქნება „მტვრევადი“, როგორც ადრეული კომპიუტერული ხედვის მოდელები.
ZDNet: რასაც თქვენ ამბობთ არის ის, რომ ზოგიერთი ადამიანი შეეცდება შექმნას ის, რაც ამჟამად არ მუშაობს ღრმა სწავლებით გამოსაყენებლად, მაგალითად, ინდუსტრიაში, და ისინი აპირებენ შექმნან ისეთი რამ, რაც მოძველდა კომპიუტერულ ხედვაში?
YL: უფლება. და ეს ნაწილობრივ იმიტომაა, რომ ავტონომიურ მართვაზე მომუშავე ადამიანები ცოტათი ზედმეტად ოპტიმისტურად განწყობილნი იყვნენ ბოლო რამდენიმე წლის განმავლობაში, იმიტომ რომ, თქვენ იცით, თქვენ გაქვთ ასეთი, ერთგვარი, ზოგადი ნივთები, როგორიცაა კონვოლუციური ბადეები და ტრანსფორმატორები, რომლითაც შეგიძლიათ მონაცემების გადატანა. და მას შეუძლია ისწავლოს თითქმის ყველაფერი. ასე რომ, თქვენ ამბობთ, კარგი, მე მაქვს ამ პრობლემის გადაწყვეტა. პირველი, რასაც აკეთებთ არის დემო ვერსიის შექმნა, სადაც მანქანა რამდენიმე წუთის განმავლობაში მოძრაობს, არავის ავნებს. და მაშინ ხვდები, რომ ბევრი კუთხის შემთხვევაა, და ცდილობ მრუდი ჩამოაყალიბო, თუ რამდენად უკეთესი ვარ, როცა გავაორმაგებ სავარჯიშო კომპლექტს, და ხვდები, რომ ვერასდროს აპირებ იქ მისვლას, რადგან არის ყველა სახის კუთხის შემთხვევები . და თქვენ უნდა გყავდეთ მანქანა, რომელიც გამოიწვევს ფატალურ ავარიას ყოველ 200 მილიონ კილომეტრზე ნაკლებს, არა? Ასე რომ, რას აკეთებ? ისე, თქვენ ორი მიმართულებით იარეთ.
პირველი მიმართულება არის, როგორ შემიძლია შევამცირო მონაცემების რაოდენობა, რომელიც აუცილებელია ჩემი სისტემის სწავლისთვის? და სწორედ აქ მოდის თვითმმართველობითი სწავლება. ასე რომ, ბევრი თვითმართვადი მანქანის ტანსაცმელი ძალიან დაინტერესებულია თვითმმართველობითი სწავლით, რადგან ეს არის გზა იმიტაციური სწავლისთვის, რომ კვლავ გამოიყენოს საზედამხედველო მონაცემების გიგანტური რაოდენობა, მაგრამ უკეთესი შესრულება წინასწარი მომზადება, არსებითად. და ეს ჯერ კიდევ არ არის დასრულებული, მაგრამ ასე იქნება. და შემდეგ არის სხვა ვარიანტი, რომელიც ამ ეტაპზე უფრო მოწინავე კომპანიების უმეტესობამ მიიღო, რაც არის, კარგი, ჩვენ შეგვიძლია გავაკეთოთ ბოლომდე ტრენინგი, მაგრამ არის ბევრი კუთხის შემთხვევა, რომელიც შეგვიძლია. ასე რომ, ჩვენ ვაპირებთ მხოლოდ ინჟინერიის სისტემების შექმნას, რომლებიც იზრუნებენ ამ კუთხის შემთხვევებზე და, ძირითადად, განიხილავენ მათ, როგორც სპეციალურ შემთხვევებს, და აკავშირებენ კონტროლს, შემდეგ კი დავაყენებთ უამრავ ძირითად ქცევას სპეციალური სიტუაციების მოსაგვარებლად. და თუ საკმარისად დიდი ინჟინრების გუნდი გყავთ, შესაძლოა, ის გაიყვანოთ. მაგრამ ამას დიდი დრო დასჭირდება და საბოლოოდ, ის მაინც იქნება ცოტა მყიფე, შესაძლოა საკმარისად სანდო, რომ თქვენ შეძლოთ განათავსოთ, მაგრამ გარკვეული დონის მტვრევადობა, რომელიც, უფრო სწავლაზე დაფუძნებული მიდგომით, რომელიც შეიძლება გამოჩნდეს მომავალი, მანქანებს არ ექნებათ, რადგან მას შეიძლება ჰქონდეს გარკვეული დონის საღი აზრი და გაგება იმის შესახებ, თუ როგორ მუშაობს სამყარო.
მოკლევადიან პერიოდში, ერთგვარი, ინჟინერიული მიდგომა გაიმარჯვებს - ის უკვე იმარჯვებს. ეს არის Waymo და Cruise of the World და Wayveდა რაც არ უნდა იყოს, ამას აკეთებენ. შემდეგ არის თვითმმართველობის ზედამხედველობითი სწავლის მიდგომა, რომელიც ალბათ დაეხმარება ინჟინერულ მიდგომას პროგრესის მიღწევაში. მაგრამ შემდეგ, გრძელვადიან პერსპექტივაში, რომელიც შეიძლება ძალიან გრძელი იყოს იმ კომპანიებისთვის, რომ ელოდონ, ალბათ იქნება ერთგვარი, უფრო ინტეგრირებული ავტონომიური ინტელექტუალური მართვის სისტემა.
ZDNet: ჩვენ ვამბობთ, რომ ინვესტორების უმეტესობის საინვესტიციო ჰორიზონტის მიღმა.
YL: Სწორია. ასე რომ, საკითხავია, დაკარგავენ ადამიანები მოთმინებას ან ამოიწურება ფული, სანამ შესრულება სასურველ დონეს მიაღწევს.
ZDNet: არის რაიმე საინტერესო სათქმელი იმის შესახებ, თუ რატომ აირჩიეთ მოდელში შერჩეული ზოგიერთი ელემენტი? რადგან თქვენ მოჰყავთ კენეტ კრეიკი [1943,ახსნის ბუნება] და თქვენ მოჰყავთ ბრაისონი და ჰო [1969, გამოყენებული ოპტიმალური კონტროლი], და მე მაინტერესებს, რატომ დაიწყეთ ამ გავლენით, თუ განსაკუთრებით გჯეროდათ, რომ ამ ადამიანებმა მიიჩნიეს ის, რაც გააკეთეს. რატომ დაიწყე იქ?
YL: არა მგონია, რათქმაუნდა, მათ ყველა დეტალი ჰქონდათ მიმაგრებული. ასე რომ, ბრაისონ და ჰო, ეს არის წიგნი, რომელიც წავიკითხე ჯერ კიდევ 1987 წელს, როცა პოსტდოქტორი ვიყავი ჯეფრი ჰინტონთან ტორონტოში. მაგრამ მე ვიცოდი ამ სამუშაოს შესახებ წინასწარ, როდესაც ვწერდი ჩემს დოქტორანტს და დავამყარე კავშირი ოპტიმალურ კონტროლსა და საყრდენს შორის, არსებითად. თუ ნამდვილად გინდოდათ იყოთ, იცით, სხვა შმიდჰუბერი, თქვენ იტყოდით, რომ საზურგეების ნამდვილი გამომგონებლები იყვნენ ოპტიმალური კონტროლის თეორეტიკოსები ჰენრი ჯ. კელი, არტურ ბრაისონი და შესაძლოა ლევ პონტრიაგინიც კი, რომელიც ოპტიმალური კონტროლის რუსი თეორეტიკოსია. 50-იანი წლების ბოლოს.
ასე რომ, მათ გაარკვიეს და სინამდვილეში, თქვენ შეგიძლიათ ნახოთ ამის ფესვი, მათემატიკა მის ქვეშ არის ლაგრანგის მექანიკა. ასე რომ, თქვენ შეგიძლიათ დაბრუნდეთ ეილერსა და ლაგრანჟში, ფაქტობრივად, და იპოვოთ ამის სურნელი ლაგრანგის კლასიკური მექანიკის მათ განმარტებაში. ასე რომ, ოპტიმალური კონტროლის კონტექსტში, რაც ამ ბიჭებს აინტერესებდათ ძირითადად რაკეტების ტრაექტორიების გამოთვლა იყო. იცით, ეს ადრეული კოსმოსური ხანა იყო. და თუ თქვენ გაქვთ რაკეტის მოდელი, ის გეუბნებათ, რა მდგომარეობაშია რაკეტის დრო t, და აქ არის მოქმედება, რომელსაც ვაპირებ, ასე რომ, ბიძგები და სხვადასხვა სახის ამძრავები, აქ არის რაკეტის მდგომარეობა დროში ტ + 1.
ZDNet: სახელმწიფო-მოქმედების მოდელი, ღირებულების მოდელი.
YL: მართალია, კონტროლის საფუძველი. ასე რომ, ახლა თქვენ შეგიძლიათ თქვენი რაკეტის სროლის სიმულაცია წარმოიდგინოთ ბრძანებების თანმიმდევრობით და შემდეგ გექნებათ გარკვეული ღირებულების ფუნქცია, რაც არის რაკეტის მანძილი მის სამიზნემდე, კოსმოსურ სადგურამდე ან სხვაგვარად. შემდეგ კი რაიმე სახის გრადიენტული დაღმართით, თქვენ შეგიძლიათ გაარკვიოთ, როგორ შემიძლია განვაახლოთ ჩემი მოქმედებების თანმიმდევრობა ისე, რომ ჩემი რაკეტა რეალურად მიუახლოვდეს მიზანს რაც შეიძლება. და ეს უნდა მოხდეს სიგნალების უკან გავრცელებით დროში. და ეს არის უკან გამრავლება, გრადიენტური უკან გამრავლება. ამ სიგნალებს, მათ ლაგრანგის მექანიკაში კონიუგატულ ცვლადებს უწოდებენ, მაგრამ სინამდვილეში, ისინი გრადიენტებია. ასე რომ, მათ გამოიგონეს backprop, მაგრამ მათ არ გააცნობიერეს, რომ ეს პრინციპი შეიძლება გამოყენებულ იქნას მრავალსაფეხურიანი სისტემის მოსამზადებლად, რომელსაც შეუძლია გააკეთოს ნიმუშის ამოცნობა ან მსგავსი რამ. ეს ნამდვილად არ იყო რეალიზებული, შესაძლოა, 70-იანი წლების ბოლოს, 80-იანი წლების დასაწყისამდე, შემდეგ კი რეალურად არ განხორციელებულა და 80-იანი წლების შუა პერიოდამდე არ განხორციელებულა. კარგი, ასე რომ, სწორედ აქ აფრინდა backprop-ი, რადგან ხალხმა აჩვენა კოდის რამდენიმე ხაზი, რომლითაც შეგიძლიათ მოამზადოთ ნერვული ქსელი, ბოლოდან ბოლომდე, მრავალშრიანი. და ეს ხსნის პერცეპტრონის შეზღუდვებს. და, დიახ, არის კავშირი ოპტიმალურ კონტროლთან, მაგრამ ეს ნორმალურია.
ZDNet: ასე რომ, ეს დიდი გზაა იმის სათქმელად, რომ ეს გავლენები, რომლითაც თქვენ დაიწყეთ, უბრუნდება უკან და ეს მნიშვნელოვანი იყო თქვენთვის, როგორც საწყისი წერტილი?
YL: დიახ, მაგრამ ვფიქრობ, რაც ხალხს ცოტათი დაავიწყდა, ამაზე საკმაოდ დიდი სამუშაო იყო, იცით, ჯერ კიდევ 90-იანებში, ან თუნდაც 80-იან წლებში, მათ შორის ისეთი ადამიანების მიერ, როგორიცაა მაიკლ ჯორდანი [MIT Dept. of Brain. და შემეცნებითი მეცნიერებები] და მსგავსი ადამიანები, რომლებიც აღარ აკეთებენ ნერვულ ბადეებს, არამედ იმ აზრს, რომ თქვენ შეგიძლიათ გამოიყენოთ ნერვული ბადეები კონტროლისთვის და შეგიძლიათ გამოიყენოთ ოპტიმალური კონტროლის კლასიკური იდეები. ასე რომ, ისეთი რამ, როგორიცაა მოდელის პროგნოზირებადი კონტროლი, რასაც ახლა ეწოდება მოდელის პროგნოზირებადი კონტროლი, ეს იდეა, რომლის სიმულაციაც შეგიძლიათ ან წარმოიდგინოთ მოქმედებების თანმიმდევრობის შედეგი, თუ გაქვთ სისტემის კარგი მოდელი, რომლის კონტროლსაც ცდილობთ. და გარემო, რომელშიც ის არის. და შემდეგ გრადიენტული დაღმართით, არსებითად - ეს არ არის სწავლა, ეს არის დასკვნა - თქვენ შეგიძლიათ გაარკვიოთ, რომელია მოქმედებების საუკეთესო თანმიმდევრობა, რომელიც მინიმუმამდე დააყენებს ჩემს მიზანს. ასე რომ, დასკვნისთვის ლატენტური ცვლადით ხარჯების ფუნქციის გამოყენება, ვფიქრობ, არის ის, რაც დაავიწყდა ფართომასშტაბიანი ნერვული ბადეების ამჟამინდელ კულტურებს. მაგრამ ეს იყო მანქანათმცოდნეობის ძალიან კლასიკური კომპონენტი დიდი ხნის განმავლობაში. ასე რომ, ყველა ბაიესის ქსელი ან გრაფიკული მოდელი ან სავარაუდო გრაფიკული მოდელი იყენებდა ამ ტიპის დასკვნას. თქვენ გაქვთ მოდელი, რომელიც ასახავს დამოკიდებულებებს ცვლადების თაიგულს შორის, გეუბნებიან ზოგიერთი ცვლადის მნიშვნელობას და შემდეგ თქვენ უნდა დაასკვნათ დანარჩენი ცვლადების ყველაზე სავარაუდო მნიშვნელობა. ეს არის დასკვნის ძირითადი პრინციპი გრაფიკულ მოდელებში და ბაიესის ბადეებში და მსგავსი რამ. და მე ვფიქრობ, რომ ძირითადად ეს უნდა იყოს მსჯელობა, მსჯელობა და დაგეგმვა.
ZDNet: შენ კარადა ბაიესიანი ხარ.
YL: მე ვარ არასავარაუდო ბაიესიანი. ადრე ვიხუმრე. მე რეალურად ვიყავი NeurIPS-ში რამდენიმე წლის წინ, ვფიქრობ, ეს იყო 2018 ან 2019 წელს და ვიდეოზე გადამიღეს ბაიესიანმა, რომელმაც მკითხა, ვიყავი თუ არა ბაიესიანი და მე ვუთხარი, დიახ, მე ვარ ბაიესიანი, მაგრამ მე მე ვარ არასავარაუდო ბაიესიანი, ერთგვარი, ენერგეტიკაზე დაფუძნებული ბაიესიანი, თუ გინდა.
ZDNet: რაც ნამდვილად ჟღერს რაღაციდან Star Trek. თქვენ ახსენეთ ამ ნაშრომის ბოლოს, რომ დაგჭირდებათ წლების განმავლობაში შრომისმოყვარეობა, რათა გააცნობიეროთ ის, რაც წარმოგიდგენიათ. მითხარი, რისგან შედგება ამჟამინდელი ნამუშევრის ნაწილი.
YL: ასე რომ, მე ავხსნი, თუ როგორ ავარჯიშებთ და აშენებთ JEPA-ს ქაღალდში. და კრიტერიუმი, რომლის მომხრეც ვარ, არის ინფორმაციის შინაარსის მაქსიმალურად გაზრდის რაიმე გზა, რომელიც ამოღებულ წარმოდგენებს აქვთ შეყვანის შესახებ. შემდეგ კი მეორე ამცირებს პროგნოზის შეცდომებს. და თუ თქვენ გაქვთ ფარული ცვლადი პრედიქტორში, რომელიც საშუალებას აძლევს პრედიქტორს იყოს არადეტერმინისტული, თქვენ ასევე უნდა მოაწესრიგოთ ეს ფარული ცვლადი მისი ინფორმაციის შინაარსის მინიმიზაციის გზით. ასე რომ, ახლა თქვენ გაქვთ ორი საკითხი, ეს არის ის, თუ როგორ გაზარდოთ ზოგიერთი ნერვული ქსელის გამომავალი ინფორმაციის შინაარსი, და მეორე არის ის, თუ როგორ უნდა შეამციროთ ზოგიერთი ფარული ცვლადის ინფორმაციის შინაარსი? და თუ ამ ორ რამეს არ გააკეთებთ, სისტემა დაინგრევა. საინტერესოს ვერაფერს ისწავლის. ყველაფერს მისცემს ნულოვან ენერგიას, რაღაც ისეთი, რაც არ არის დამოკიდებულების კარგი მოდელი. ეს არის კოლაფსის პრევენციის პრობლემა, რომელსაც აღვნიშნავ.
და მე ვამბობ ყველაფერზე, რაც ადამიანებს ოდესმე გაუკეთებიათ, არსებობს მხოლოდ ორი კატეგორიის მეთოდები კოლაფსის თავიდან ასაცილებლად. ერთი არის კონტრასტული მეთოდები, მეორე კი ის დარეგულირებული მეთოდები. ასე რომ, ეს იდეა ორი შეყვანის წარმოდგენის ინფორმაციის შინაარსის მაქსიმიზაციისა და ფარული ცვლადის ინფორმაციის შინაარსის მინიმიზაციის შესახებ, რომელიც ეკუთვნის რეგულარულ მეთოდებს. მაგრამ ამ ერთობლივი ჩაშენების არქიტექტურებში ბევრი სამუშაოა კონტრასტული მეთოდების გამოყენებით. სინამდვილეში, ისინი ალბათ ყველაზე პოპულარულია მომენტში. ასე რომ, კითხვა არის ზუსტად როგორ აფასებთ საინფორმაციო შინაარსს ისე, რომ შეძლებთ ოპტიმიზაციას ან მინიმუმამდე დაყვანას? და აქ ყველაფერი რთულდება, რადგან ჩვენ არ ვიცით რეალურად როგორ გავზომოთ ინფორმაციის შინაარსი. ჩვენ შეგვიძლია მისი მიახლოება, შეგვიძლია მისი ზედა ზღვარი, შეგვიძლია გავაკეთოთ მსგავსი რამ. მაგრამ ისინი რეალურად არ ზომავენ ინფორმაციის შინაარსს, რომელიც, ფაქტობრივად, გარკვეულწილად არც კი არის კარგად განსაზღვრული.
ZDNet: ეს შენონის კანონი არ არის? ეს არ არის ინფორმაციის თეორია? თქვენ გაქვთ გარკვეული რაოდენობის ენტროპია, კარგი ენტროპია და ცუდი ენტროპია, ხოლო კარგი ენტროპია არის სიმბოლო სისტემა, რომელიც მუშაობს, ცუდი ენტროპია არის ხმაური. ეს ყველაფერი შენონმა არ მოაგვარა?
YL: მართალი ხარ, მაგრამ ამის უკან დიდი ხარვეზია. თქვენ მართალი ხართ იმ გაგებით, რომ თუ თქვენ გაქვთ მონაცემები, რომლებიც თქვენსკენ მოდის და შეგიძლიათ როგორმე მონაცემების კვანტირება დისკრეტულ სიმბოლოებად და შემდეგ გაზომეთ თითოეული ამ სიმბოლოს ალბათობა, მაშინ ამ სიმბოლოების მიერ გადატანილი ინფორმაციის მაქსიმალური რაოდენობა არის შესაძლო სიმბოლოების ჯამი პი ლოგ პი, არა? სად Pi არის სიმბოლოს ალბათობა მე - ეს არის შენონის ენტროპია. [შენონის კანონი ჩვეულებრივ ჩამოყალიბებულია როგორც H = – ∑ pi log pi.]
თუმცა აქ არის პრობლემა: რა არის Pi? ადვილია, როდესაც სიმბოლოების რაოდენობა მცირეა და სიმბოლოები დამოუკიდებლად არის დახატული. როცა ბევრი სიმბოლო და დამოკიდებულებაა, ძალიან რთულია. ასე რომ, თუ თქვენ გაქვთ ბიტების თანმიმდევრობა და ჩათვლით, რომ ბიტები ერთმანეთისგან დამოუკიდებელია და ალბათობა ტოლია ერთსა და ნულს შორის ან სხვა რამეს შორის, მაშინ მარტივად შეგიძლიათ გაზომოთ ენტროპია, პრობლემა არ არის. მაგრამ თუ ის, რაც თქვენთან მოდის, არის მაღალგანზომილებიანი ვექტორები, როგორიცაა, იცით, მონაცემთა ჩარჩოები, ან მსგავსი რამ, რა არის Pi? რა არის განაწილება? პირველ რიგში, თქვენ უნდა დაადგინოთ ეს სივრცე, რომელიც არის მაღალგანზომილებიანი, უწყვეტი სივრცე. თქვენ წარმოდგენაც არ გაქვთ, როგორ აზომოთ ეს სწორად. შეგიძლიათ გამოიყენოთ k-means და ა.შ. ეს არის ის, რასაც ადამიანები აკეთებენ ვიდეოს შეკუმშვისა და გამოსახულების შეკუმშვისას. მაგრამ ეს მხოლოდ მიახლოებაა. და შემდეგ თქვენ უნდა გააკეთოთ ვარაუდები დამოუკიდებლობის შესახებ. ასე რომ, ცხადია, რომ ვიდეოში თანმიმდევრული კადრები დამოუკიდებელი არ არის. არსებობს დამოკიდებულებები და ეს ჩარჩო შეიძლება დამოკიდებული იყოს სხვა კადრზე, რომელიც თქვენ ნახეთ ერთი საათის წინ, რომელიც იყო იგივე სურათის სურათი. ასე რომ, თქვენ იცით, თქვენ არ შეგიძლიათ გაზომოთ Pi. გასაზომად Pi, თქვენ უნდა გქონდეთ მანქანათმცოდნეობის სისტემა, რომელიც ისწავლის პროგნოზირებას. ასე რომ, თქვენ დაუბრუნდით წინა პრობლემას. ასე რომ, თქვენ შეგიძლიათ მხოლოდ მიახლოებით მიახლოვოთ ინფორმაციის ზომა, არსებითად.
”საკითხავი არის ზუსტად როგორ აფასებთ ინფორმაციის შინაარსს ისე, რომ ოპტიმიზაცია ან მინიმუმამდე დაყვანა შეძლოთ?” ამბობს ლეკუნი. ”და აქ ყველაფერი რთულდება, რადგან ჩვენ არ ვიცით რეალურად როგორ გავზომოთ ინფორმაციის შინაარსი.” საუკეთესო, რაც აქამდე შეიძლება გაკეთდეს, არის მარიონეტის პოვნა, რომელიც „საკმარისად კარგია იმ ამოცანისთვის, რომელიც ჩვენ გვინდა“.
ნება მომეცით ავიღოთ უფრო კონკრეტული მაგალითი. ერთ-ერთი ალგორითმი, რომლითაც ჩვენ ვთამაშობდით და მე ვისაუბრე ამ ნაწარმოებში, არის ეს რამ, რომელსაც VICReg ჰქვია, დისპერსიულ-ინვარიანტობა-კოვარიანსის რეგულაცია. ეს არის ცალკე ნაშრომში, რომელიც გამოქვეყნდა ICLR-ში და ის დაყენებულია arXiv-ზე დაახლოებით ერთი წლით ადრე, 2021. და იდეა არის ინფორმაციის მაქსიმალურად გაზრდა. და იდეა რეალურად გაჩნდა ჩემი ჯგუფის ადრინდელი ნაშრომიდან ბარლოუ ტყუპები. თქვენ მაქსიმალურად გაზრდით ვექტორის საინფორმაციო შინაარსს, რომელიც გამოდის ნერვული ქსელიდან, ძირითადად, იმის დაშვებით, რომ ცვლადებს შორის ერთადერთი დამოკიდებულება არის კორელაცია, წრფივი დამოკიდებულება. ასე რომ, თუ ჩათვლით, რომ ერთადერთი დამოკიდებულება, რომელიც შესაძლებელია ცვლადების წყვილებს შორის, ან თქვენს სისტემაში ცვლადებს შორის, არის კორელაცია ფასეულობის წყვილებს შორის, რაც უკიდურესად უხეში მიახლოებაა, მაშინ შეგიძლიათ მაქსიმალურად გაზარდოთ თქვენი სისტემიდან გამომავალი ინფორმაციის შინაარსი. დარწმუნდებით, რომ ყველა ცვლადს აქვს არანულოვანი ვარიაცია - ვთქვათ, ვარიაცია ერთი, არ აქვს მნიშვნელობა რა არის ეს - და შემდეგ მათი უკანა კორელაცია, იგივე პროცესი, რომელსაც გათეთრება ჰქვია, არც ეს არის ახალი. პრობლემა ის არის, რომ თქვენ ძალიან კარგად შეგიძლიათ გქონდეთ უკიდურესად რთული დამოკიდებულებები ცვლადების რომელიმე ჯგუფს შორის ან თუნდაც მხოლოდ ცვლადების წყვილებს შორის, რომლებიც არ არიან წრფივი დამოკიდებულებები და ისინი არ გამოჩნდებიან კორელაციებში. მაგალითად, თუ თქვენ გაქვთ ორი ცვლადი და ამ ორი ცვლადის ყველა წერტილი ერთგვარ სპირალშია, არის ძალიან ძლიერი დამოკიდებულება ამ ორ ცვლადს შორის, არა? მაგრამ სინამდვილეში, თუ თქვენ გამოვთვლით კორელაციას ამ ორ ცვლადს შორის, ისინი არ არიან დაკავშირებული. ასე რომ, აქ არის მაგალითი, სადაც ამ ორი ცვლადის ინფორმაციის შინაარსი რეალურად ძალიან მცირეა, ეს მხოლოდ ერთი რაოდენობაა, რადგან ეს არის თქვენი პოზიცია სპირალში. ისინი დეკორელირებულია, ასე რომ თქვენ ფიქრობთ, რომ თქვენ გაქვთ ბევრი ინფორმაცია, რომელიც გამოდის ამ ორი ცვლადიდან, მაგრამ სინამდვილეში თქვენ არ გაქვთ, თქვენ მხოლოდ გაქვთ, იცით, შეგიძლიათ პროგნოზირება ერთი ცვლადის მეორესგან, არსებითად. ასე რომ, ეს აჩვენებს, რომ ჩვენ გვაქვს მხოლოდ ძალიან სავარაუდო გზები ინფორმაციის შინაარსის გასაზომად.
ZDNet: და ასე რომ, ეს არის ერთ-ერთი რამ, რაზეც ახლა უნდა იმუშაოთ? ეს არის უფრო დიდი კითხვა, როგორ გავიგოთ, როდის ვადიდებთ და ვამცირებთ ინფორმაციის შინაარსს?
YL: ან პროქსი, რომელსაც ამისთვის ვიყენებთ, საკმარისად კარგია ჩვენთვის სასურველი ამოცანისთვის. სინამდვილეში, ჩვენ ამას ყოველთვის ვაკეთებთ მანქანათმცოდნეობაში. ჩვენ მიერ მინიმუმამდე დაყვანილი ღირებულების ფუნქციები არასოდეს არ არის ისეთი, რისი შემცირებაც რეალურად გვინდა. მაგალითად, გინდა კლასიფიკაციის გაკეთება, კარგი? ღირებულების ფუნქცია, რომლის შემცირებაც გსურთ კლასიფიკატორის მომზადებისას, არის შეცდომების რაოდენობა, რომელსაც კლასიფიკატორი უშვებს. მაგრამ ეს არის არადიფერენცირებადი, საშინელი ღირებულების ფუნქცია, რომელსაც ვერ შეამცირებთ, რადგან იცით, რომ შეცვლით თქვენი ნერვული ქსელის წონას, არაფერი შეიცვლება მანამ, სანამ ერთ-ერთი ასეთი ნიმუში არ გადაწყვეტს გადაწყვეტილებას, შემდეგ კი ნახტომი შეცდომაში, დადებითი თუ უარყოფითი.
ZDNet: ასე რომ, თქვენ გაქვთ პროქსი, რომელიც არის ობიექტური ფუნქცია, რომლის თქმაც ნამდვილად შეგიძლიათ, ჩვენ ნამდვილად შეგვიძლია ამ ნივთის გრადიენტების გადატანა.
YL: Სწორია. ასე რომ, ხალხი იყენებს ამ ჯვარედინი ენტროპიის დაკარგვას, ან SOFTMAX-ს, თქვენ გაქვთ რამდენიმე სახელი, მაგრამ ეს იგივეა. და ეს ძირითადად არის სისტემის მიერ დაშვებული შეცდომების რაოდენობის გლუვი მიახლოება, სადაც გამარტივება ხდება, ძირითადად, იმ ქულის გათვალისწინებით, რომელსაც სისტემა აძლევს თითოეულ კატეგორიას.
ZDNet: არის რამე, რაც ჩვენ არ გვაქვს გაშუქებული, რომლის გაშუქებაც გსურთ?
YL: ის, ალბათ, ხაზს უსვამს მთავარ პუნქტებს. მე ვფიქრობ, რომ ხელოვნური ინტელექტის სისტემებს უნდა შეეძლოთ მსჯელობა და ამის პროცესი, რომელსაც მე მხარს ვუჭერ, არის გარკვეული მიზნების მინიმუმამდე შემცირება ზოგიერთი ლატენტური ცვლადის მიმართ. ეს საშუალებას აძლევს სისტემებს დაგეგმონ და არგუმენტირონ. მე ვფიქრობ, რომ ჩვენ უნდა მივატოვოთ ალბათური ჩარჩო, რადგან ის გადაუჭრელია, როდესაც გვინდა გავაკეთოთ ისეთი რამ, როგორიცაა დამოკიდებულების აღბეჭდვა მაღალგანზომილებიან, უწყვეტ ცვლადებს შორის. და მე მხარს ვუჭერ გენერაციულ მოდელებზე უარის თქმას, რადგან სისტემას მოუწევს დაუთმოს ძალიან ბევრი რესურსი ისეთი რამის პროგნოზირებისთვის, რომელთა პროგნოზირებაც ძალიან რთულია და, შესაძლოა, ძალიან ბევრ რესურსს მოიხმარს. და ეს საკმაოდ ბევრია. ეს არის მთავარი მესიჯები, თუ გინდა. შემდეგ კი საერთო არქიტექტურა. შემდეგ არის სპეკულაციები ცნობიერების ბუნებისა და კონფიგურატორის როლის შესახებ, მაგრამ ეს ნამდვილად სპეკულაციაა.
ZDNet: ამას შემდეგ ჯერზე მივალთ. ვაპირებდი მეკითხა, როგორ აფასებ ამ საქმეს? მაგრამ ვფიქრობ, თქვენ ახლა ცოტა შორს ხართ ბენჩმარკინგისგან?
YL: სულაც არ არის ასე შორს, ერთგვარი, გამარტივებული ვერსიები. თქვენ შეგიძლიათ გააკეთოთ ის, რასაც ყველა აკეთებს საკონტროლო ან განმამტკიცებელი სწავლის დროს, ანუ თქვენ ავარჯიშებთ ნივთს Atari თამაშების ან რაიმე მსგავსის ან სხვა თამაშში, რომელსაც აქვს გარკვეული გაურკვევლობა.
ZDNet: გმადლობთ დროისთვის, იან.
English
Arabic
Belarusian
Bengali
Bosnian
Bulgarian
Chinese (Simplified)
Croatian
Czech
Danish
Dutch
English
Estonian
Filipino
Finnish
French
Georgian
German
Greek
Gujarati
Hausa
Hebrew
Hindi
Hmong
Hungarian
Igbo
Indonesian
Italian
Japanese
Javanese
Kazakh
Korean
Kurdish (Kurmanji)
Kyrgyz
Lao
Latvian
Lithuanian
Macedonian
Malagasy
Norwegian
Persian
Polish
Portuguese
Punjabi
Romanian
Russian
Serbian
Slovak
Slovenian
Spanish
Swedish
Thai
Turkish
Ukrainian
Vietnamese
Yoruba