Keep Calm and Stay Smart
04:29
Ο γκουρού της τεχνητής νοημοσύνης της Meta LeCun: Οι περισσότερες από τις σημερινές προσεγγίσεις τεχνητής νοημοσύνης δεν θα οδηγήσουν ποτέ σε αληθινή νοημοσύνη
«Νομίζω ότι τα συστήματα τεχνητής νοημοσύνης πρέπει να είναι σε θέση να συλλογίζονται», λέει ο Yann LeCun, επικεφαλής επιστήμονας AI της Meta. Οι σημερινές δημοφιλείς προσεγγίσεις τεχνητής νοημοσύνης όπως το Transformers, πολλές από τις οποίες βασίζονται στη δική του πρωτοποριακή δουλειά στον τομέα, δεν θα είναι επαρκείς. «Πρέπει να κάνετε ένα βήμα πίσω και να πείτε, Εντάξει, φτιάξαμε αυτή τη σκάλα, αλλά θέλουμε να πάμε στο φεγγάρι και δεν υπάρχει περίπτωση αυτή η σκάλα να μας πάει εκεί», λέει ο LeCun.
Yann LeCun, επικεφαλής επιστήμονας AI της Meta Properties, ιδιοκτήτης του Facebook, του Instagram και του WhatsApp, είναι πιθανό να ξεχωρίσει πολλούς ανθρώπους στον τομέα του.
Με την ανάρτηση τον Ιούνιο ενός think piece στον διακομιστή Open Review, ο LeCun πρόσφερε μια ευρεία επισκόπηση μιας προσέγγισης που πιστεύει ότι έχει υπόσχεση για την επίτευξη νοημοσύνης σε ανθρώπινο επίπεδο σε μηχανές.
Δημοφιλή τώρα
Υπονοούμενο, αν δεν διατυπωθεί στο έγγραφο, είναι ο ισχυρισμός ότι τα περισσότερα από τα σημερινά μεγάλα έργα στην τεχνητή νοημοσύνη δεν θα μπορέσουν ποτέ να επιτύχουν αυτόν τον στόχο σε ανθρώπινο επίπεδο.
Σε μια συζήτηση αυτό το μήνα με ZDNet Μέσω του Zoom, ο LeCun κατέστησε σαφές ότι βλέπει με μεγάλο σκεπτικισμό πολλές από τις πιο επιτυχημένες οδούς έρευνας στη βαθιά μάθηση αυτή τη στιγμή.
«Νομίζω ότι είναι απαραίτητα αλλά όχι επαρκή», είπε ο νικητής του βραβείου Turing ZDNet των επιδιώξεων των συνομηλίκων του.
Αυτά περιλαμβάνουν μεγάλα μοντέλα γλώσσας όπως το GPT-3 που βασίζεται σε Transformer και τα παρόμοια. Όπως το χαρακτηρίζει ο LeCun, οι θιασώτες του Transformer πιστεύουν: «Καταφέρουμε τα πάντα και εκπαιδεύουμε γιγάντιαμοντέλα για να κάνουν διακριτές προβλέψεις και με κάποιο τρόπο η τεχνητή νοημοσύνη θα προκύψει από αυτό».
«Δεν έχουν άδικο», λέει, «με την έννοια ότι αυτό μπορεί να είναι ένα στοιχείο ενός μελλοντικού ευφυούς συστήματος, αλλά νομίζω ότι του λείπουν βασικά κομμάτια».
Επίσης: Το φωτιστικό AI της Meta, LeCun, εξερευνά τα ενεργειακά σύνορα της βαθιάς μάθησης
Είναι μια εκπληκτική κριτική αυτού που φαίνεται να λειτουργεί από τον μελετητή που τελειοποίησε τη χρήση των συνελικτικών νευρωνικών δικτύων, μια πρακτική τεχνική που ήταν απίστευτα παραγωγική σε προγράμματα βαθιάς μάθησης.
Ο LeCun βλέπει ελαττώματα και περιορισμούς σε πολλούς άλλους εξαιρετικά επιτυχημένους τομείς του κλάδου.
Η ενισχυτική μάθηση επίσης δεν θα είναι ποτέ αρκετή, υποστηρίζει. Ερευνητές όπως ο David Silver του DeepMind, ο οποίος ανέπτυξε το πρόγραμμα AlphaZero που κατέκτησε το Chess, το Shogi και το Go, εστιάζουν σε προγράμματα που «βασίζονται πολύ στη δράση», παρατηρεί ο LeCun, αλλά «το μεγαλύτερο μέρος της μάθησης δεν το κάνουμε εμείς. το κάνουμε κάνοντας πραγματικά ενέργειες, το κάνουμε παρατηρώντας».
Ο Lecun, 62, από την προοπτική των επιτευγμάτων δεκαετιών, εκφράζει ωστόσο την επείγουσα ανάγκη να αντιμετωπίσει αυτά που πιστεύει ότι είναι τα αδιέξοδα προς τα οποία πολλοί μπορεί να σπεύδουν και να προσπαθήσει να πείσει το πεδίο του προς την κατεύθυνση που πιστεύει ότι πρέπει να πάνε τα πράγματα.
«Βλέπουμε πολλούς ισχυρισμούς σχετικά με το τι πρέπει να κάνουμε για να προωθήσουμε την τεχνητή νοημοσύνη σε ανθρώπινο επίπεδο», λέει. «Και υπάρχουν ιδέες που νομίζω ότι έχουν παραπλανηθεί».
«Δεν είμαστε στο σημείο όπου οι έξυπνες μηχανές μας να έχουν τόσο κοινή λογική όσο μια γάτα», παρατηρεί ο Lecun. «Λοιπόν, γιατί δεν ξεκινάμε από εκεί;»
Έχει εγκαταλείψει την προηγούμενη πίστη του στη χρήση δικτύων παραγωγής σε πράγματα όπως η πρόβλεψη του επόμενου καρέ σε ένα βίντεο. «Ήταν μια πλήρης αποτυχία», λέει.
Ο LeCun αποδοκιμάζει αυτούς που αποκαλεί «θρησκευτικούς πιθανολόγους», οι οποίοι «νομίζουν ότι η θεωρία πιθανοτήτων είναι το μόνο πλαίσιο που μπορείτε να χρησιμοποιήσετε για να εξηγήσετε τη μηχανική μάθηση».
Η καθαρά στατιστική προσέγγιση είναι δυσεπίλυτη, λέει. «Είναι πάρα πολύ να ζητάμε ένα παγκόσμιο μοντέλο να είναι εντελώς πιθανολογικό. δεν ξέρουμε πώς να το κάνουμε».
Όχι μόνο οι ακαδημαϊκοί, αλλά η βιομηχανική τεχνητή νοημοσύνη χρειάζεται μια βαθιά επανεξέταση, υποστηρίζει ο LeCun. Το πλήθος των αυτοκινούμενων αυτοκινήτων, startups όπως η Wayve, ήταν «λίγο υπερβολικά αισιόδοξοι», λέει, πιστεύοντας ότι θα μπορούσαν να «ρίξουν δεδομένα σε» μεγάλα νευρωνικά δίκτυα «και μπορείτε να μάθετε σχεδόν οτιδήποτε».
«Ξέρετε, νομίζω ότι είναι απολύτως πιθανό να έχουμε αυτόνομα αυτοκίνητα επιπέδου πέντε χωρίς κοινή λογική», λέει, αναφερόμενος στο «ADAS». προηγμένο σύστημα βοήθειας οδηγού όροι για την αυτοοδήγηση, "αλλά θα πρέπει να το φτιάξετε στο διάολο."
Αυτή η υπερβολικά σχεδιασμένη τεχνολογία αυτοοδήγησης θα είναι κάτι τόσο τρελό και εύθραυστο όσο όλα τα προγράμματα υπολογιστικής όρασης που έγιναν απαρχαιωμένα λόγω της βαθιάς μάθησης, πιστεύει.
«Τελικά, θα υπάρξει μια πιο ικανοποιητική και πιθανώς καλύτερη λύση που θα περιλαμβάνει συστήματα που κάνουν καλύτερη δουλειά στην κατανόηση του τρόπου με τον οποίο λειτουργεί ο κόσμος».
Δημοφιλή τώρα
Στην πορεία, ο LeCun προσφέρει μερικές μαραζωμένες απόψεις των μεγαλύτερων επικριτών του, όπως ο καθηγητής του NYU Gary Marcus — «δεν έχει συνεισφέρει ποτέ τίποτα στην τεχνητή νοημοσύνη» — και ο Jürgen Schmidhuber, συνδιευθυντής του Dalle Molle Institute for Artificial Intelligence Research — «είναι πολύ εύκολο να γίνει φύτευση σημαιών».
Πέρα από τις κριτικές, το πιο σημαντικό σημείο που επισήμανε ο LeCun είναι ότι ορισμένα θεμελιώδη προβλήματα αντιμετωπίζουν όλη η τεχνητή νοημοσύνη, ιδίως ο τρόπος μέτρησης των πληροφοριών.
«Πρέπει να κάνετε ένα βήμα πίσω και να πείτε, εντάξει, φτιάξαμε αυτή τη σκάλα, αλλά θέλουμε να πάμε στο φεγγάρι και δεν υπάρχει περίπτωση αυτή η σκάλα να μας πάει εκεί», λέει ο ΛεΚούν για την επιθυμία του να αναθεωρήσει. βασικών εννοιών. «Βασικά, αυτό που γράφω εδώ είναι ότι πρέπει να κατασκευάσουμε πυραύλους, δεν μπορώ να σας δώσω λεπτομέρειες για το πώς κατασκευάζουμε πυραύλους, αλλά εδώ είναι οι βασικές αρχές».
Η εφημερίδα και οι σκέψεις του LeCun στη συνέντευξη, μπορούν να γίνουν καλύτερα κατανοητές διαβάζοντας τη συνέντευξη του LeCun νωρίτερα φέτος με ZDNet στην οποία υποστηρίζει την αυτοεποπτευόμενη μάθηση που βασίζεται στην ενέργεια ως μια πορεία προς τα εμπρός για βαθιά μάθηση. Αυτοί οι προβληματισμοί δίνουν μια αίσθηση της βασικής προσέγγισης σε αυτό που ελπίζει να οικοδομήσει ως εναλλακτική λύση στα πράγματα που ισχυρίζεται ότι δεν θα φτάσει στη γραμμή του τερματισμού.
Αυτό που ακολουθεί είναι μια ελαφρώς επεξεργασμένη απομαγνητοφώνηση της συνέντευξης.
ZDNet: Το θέμα της συνομιλίας μας είναι αυτό το άρθρο, «Μια διαδρομή προς την αυτόνομη νοημοσύνη μηχανών», της οποίας η έκδοση 0.9.2 είναι η υπάρχουσα έκδοση, ναι;
Γιαν ΛεΚούν: Ναι, το θεωρώ αυτό, κάπως, ένα έγγραφο εργασίας. Έτσι, το δημοσίευσα στο Open Review, περιμένοντας από τους ανθρώπους να κάνουν σχόλια και προτάσεις, ίσως πρόσθετες αναφορές, και στη συνέχεια θα δημιουργήσω μια αναθεωρημένη έκδοση.
ZDNet: Βλέπω ότι ο Juergen Schmidhuber έχει ήδη προσθέσει κάποια σχόλια στο Open Review.
YL: Λοιπόν, ναι, το κάνει πάντα. Παραθέτω ένα από τα χαρτιά του εκεί στο χαρτί μου. Νομίζω ότι τα επιχειρήματα που έκανε στα κοινωνικά δίκτυα ότι βασικά τα εφηύρε όλα αυτά το 1991, όπως έχει κάνει σε άλλες περιπτώσεις, απλώς δεν ισχύει. Θέλω να πω, είναι πολύ εύκολο να γίνειφύτευση σημαιών και, κατά κάποιο τρόπο, να γράψετε μια ιδέα χωρίς πειράματα, χωρίς καμία θεωρία, απλώς προτείνετε ότι θα μπορούσατε να το κάνετε με αυτόν τον τρόπο. Αλλά, ξέρετε, υπάρχει μεγάλη διαφορά ανάμεσα στο να έχεις απλώς την ιδέα, και μετά να το κάνεις να επιλύσει ένα πρόβλημα με το παιχνίδι, και μετά να το κάνεις να επιλύσει ένα πραγματικό πρόβλημα και μετά να κάνεις μια θεωρία που δείχνει γιατί λειτουργεί, και μετά αναπτύσσοντάς το. Υπάρχει μια ολόκληρη αλυσίδα, και η ιδέα του για την επιστημονική πίστη είναι ότι είναι ο πρώτος άνθρωπος που απλά, κατά κάποιο τρόπο, ξέρετε, είχε την ιδέα αυτού, που θα έπρεπε να πάρει όλη την πίστη. Και αυτό είναι γελοίο.
ZDNet: Μην πιστεύετε όλα όσα ακούτε στα social media.
YL: Εννοώ ότι η κύρια εργασία που λέει ότι πρέπει να αναφέρω δεν έχει καμία από τις κύριες ιδέες για τις οποίες μιλάω στην εφημερίδα. Το έχει κάνει και με GAN και άλλα πράγματα, τα οποία δεν αποδείχτηκαν αληθινά. Είναι εύκολο να κάνεις σημαιοφόρο, είναι πολύ πιο δύσκολο να συνεισφέρεις. Και, παρεμπιπτόντως, στη συγκεκριμένη εργασία, είπα ρητά ότι δεν πρόκειται για επιστημονική εργασία με τη συνήθη έννοια του όρου. Είναι περισσότερο ένα χαρτί θέσης για το πού πρέπει να πάει αυτό το πράγμα. Και υπάρχουν μερικές ιδέες εκεί που μπορεί να είναι νέες, αλλά οι περισσότερες δεν είναι. Δεν διεκδικώ καμία προτεραιότητα στα περισσότερα από αυτά που έγραψα σε εκείνο το έγγραφο, ουσιαστικά.
Η ενισχυτική μάθηση επίσης δεν θα είναι ποτέ αρκετή, υποστηρίζει ο LeCun. Ερευνητές όπως ο Ντέιβιντ Σίλβερ του DeepMind, ο οποίος ανέπτυξε το πρόγραμμα AlphaZero που κατέκτησε το Chess, το Shogi και το Go, είναι «πολύ βασισμένοι στη δράση», παρατηρεί ο LeCun, αλλά «το μεγαλύτερο μέρος της μάθησης που κάνουμε, δεν το κάνουμε λαμβάνοντας πραγματικά ενέργειες, το κάνουμε παρατηρώντας».
ZDNet: Και αυτό είναι ίσως ένα καλό μέρος για να ξεκινήσετε, γιατί είμαι περίεργος γιατί ακολουθήσατε αυτόν τον δρόμο τώρα; Τι σας έκανε να σκεφτείτε αυτό; Γιατί ήθελες να το γράψεις αυτό;
YL: Λοιπόν, το σκέφτομαι αυτό εδώ και πολύ καιρό, για μια πορεία προς τη νοημοσύνη ή τη μάθηση και τις ικανότητες σε ανθρώπινο ή ζωικό επίπεδο. Και, στις ομιλίες μου, μίλησα αρκετά για όλο αυτό το θέμα ότι τόσο η εποπτευόμενη μάθηση όσο και η ενισχυτική μάθηση είναι ανεπαρκείς για να μιμηθούν το είδος της μάθησης που παρατηρούμε σε ζώα και ανθρώπους. Το κάνω αυτό για περίπου επτά ή οκτώ χρόνια. Άρα, δεν είναι πρόσφατο. Είχα μια κεντρική ομιλία στο NeurIPS πριν από πολλά χρόνια, όπου έκανα αυτό το σημείο, ουσιαστικά, και διάφορες ομιλίες, υπάρχουν ηχογραφήσεις. Τώρα, γιατί να γράψετε ένα χαρτί τώρα; Έφτασα στο σημείο — [ο ερευνητής του Google Brain] Geoff Hinton είχε κάνει κάτι παρόμοιο — εννοώ, σίγουρα, περισσότερο από εμένα, βλέπουμε ότι ο χρόνος τελειώνει. Δεν είμαστε νέοι.
ZDNet: Το εξήντα είναι το νέο πενήντα.
YL: Αυτό είναι αλήθεια, αλλά το θέμα είναι ότι βλέπουμε πολλούς ισχυρισμούς σχετικά με το τι πρέπει να κάνουμε για να προωθήσουμε την τεχνητή νοημοσύνη σε ανθρώπινο επίπεδο. Και υπάρχουν ιδέες που νομίζω ότι είναι εσφαλμένες. Έτσι, μια ιδέα είναι, Ω, θα πρέπει απλώς να προσθέσουμε συμβολικό συλλογισμό πάνω από τα νευρωνικά δίκτυα. Και δεν ξέρω πώς να το κάνω αυτό. Έτσι, ίσως αυτό που εξήγησα στο έγγραφο να είναι μια προσέγγιση που θα έκανε το ίδιο πράγμα χωρίς ρητή χειραγώγηση συμβόλων. Αυτό είναι το είδος του παραδοσιακά Gary Marcuses του κόσμου. Ο Gary Marcus δεν είναι άτομο AI, παρεμπιπτόντως, είναι ψυχολόγος. Ποτέ δεν έχει συνεισφέρει τίποτα στο AI. Έχει κάνει πολύ καλή δουλειά στην πειραματική ψυχολογία, αλλά δεν έχει γράψει ποτέ μια εργασία με κριτές για την τεχνητή νοημοσύνη. Λοιπόν, υπάρχουν αυτοί οι άνθρωποι.
Υπάρχει ο [επιστήμονας της βασικής έρευνας DeepMind] Ντέιβιντ Σίλβερς του κόσμου που λέει, ξέρετε, η ανταμοιβή είναι αρκετή, βασικά, όλα έχουν να κάνουν με την ενισχυτική μάθηση, απλά πρέπει να την κάνουμε λίγο πιο αποτελεσματική, εντάξει; Και, νομίζω ότι δεν έχουν άδικο, αλλά νομίζω ότι τα απαραίτητα βήματα για να γίνει η ενισχυτική μάθηση πιο αποτελεσματική, βασικά, θα υποβιβάσουν την ενισχυτική μάθηση σε ένα είδος κερασιού στην τούρτα. Και το κύριο μέρος που λείπει είναι να μάθουμε πώς λειτουργεί ο κόσμος, κυρίως με παρατήρηση χωρίς δράση. Η ενισχυτική μάθηση βασίζεται πολύ στη δράση, μαθαίνετε πράγματα για τον κόσμο κάνοντας ενέργειες και βλέποντας τα αποτελέσματα.
ZDNet: Και επικεντρώνεται στην ανταμοιβή.
YL: Επικεντρώνεται στην ανταμοιβή, αλλά και στη δράση. Έτσι, πρέπει να δράσεις στον κόσμο για να μπορέσεις να μάθεις κάτι για τον κόσμο. Και ο κύριος ισχυρισμός που κάνω στην εργασία σχετικά με την αυτοεποπτευόμενη μάθηση είναι ότι το μεγαλύτερο μέρος της μάθησης που κάνουμε, δεν το κάνουμε κάνοντας πραγματικά ενέργειες, το κάνουμε παρατηρώντας. Και είναι πολύ ανορθόδοξο, τόσο για τους ανθρώπους που μαθαίνουν ενίσχυση, ιδιαίτερα, αλλά και για πολλούς ψυχολόγους και γνωστικούς επιστήμονες που πιστεύουν ότι, ξέρετε, η δράση είναι — δεν λέω ότι η δράση δεν είναι απαραίτητη, is ουσιώδης. Αλλά νομίζω ότι το μεγαλύτερο μέρος αυτών που μαθαίνουμε αφορά κυρίως τη δομή του κόσμου, και περιλαμβάνει, φυσικά, αλληλεπίδραση και δράση και παιχνίδι, και τέτοια πράγματα, αλλά πολλά από αυτά είναι παρατηρησιακά.
ZDNet: Θα καταφέρετε επίσης να σημειώσετε τους ανθρώπους του Transformer, τους ανθρώπους που είναι πρώτοι στη γλώσσα, ταυτόχρονα. Πώς μπορείτε να το φτιάξετε αυτό χωρίς πρώτα γλώσσα; Μπορεί να καταφέρετε να ξεχωρίσετε πολλούς ανθρώπους.
YL: Ναι, το έχω συνηθίσει. Λοιπόν, ναι, υπάρχουν οι πρώτοι άνθρωποι που λένε, ξέρετε, η ευφυΐα είναι η γλώσσα, το υπόστρωμα της νοημοσύνης είναι η γλώσσα, μπλα, μπλα, μπλα. Αλλά αυτό, κατά κάποιο τρόπο, απορρίπτει τη νοημοσύνη των ζώων. Ξέρετε, δεν είμαστε στο σημείο όπου οι έξυπνες μηχανές μας να έχουν τόσο κοινή λογική όσο μια γάτα. Λοιπόν, γιατί να μην ξεκινήσουμε από εκεί; Τι είναι αυτό που επιτρέπει σε μια γάτα να αντιλαμβάνεται τον περιβάλλοντα κόσμο, να κάνει αρκετά έξυπνα πράγματα και να σχεδιάζει και τέτοια πράγματα, και στα σκυλιά ακόμα καλύτερα;
Μετά, υπάρχουν όλοι οι άνθρωποι που λένε, Ω, η ευφυΐα είναι κοινωνικό πράγμα, σωστά; Είμαστε έξυπνοι γιατί μιλάμε μεταξύ μας και ανταλλάσσουμε πληροφορίες, και μπλα, μπλα, μπλα. Υπάρχουν όλα τα είδη μη κοινωνικών ειδών που δεν συναντούν ποτέ τους γονείς τους που είναι πολύ έξυπνοι, όπως χταπόδι ή ουρακοτάγκοι.Εννοώ, αυτοί [ουρακοτάγκοι] σίγουρα εκπαιδεύονται από τη μητέρα τους, αλλά δεν είναι κοινωνικά ζώα.
Αλλά η άλλη κατηγορία ανθρώπων που θα μπορούσα να σημειώσω είναι άνθρωποι που λένε ότι η κλιμάκωση είναι αρκετή. Οπότε, βασικά, απλώς χρησιμοποιούμε γιγάντια Transformers, τους εκπαιδεύουμε σε πολυτροπικά δεδομένα που περιλαμβάνουν, ξέρετε, βίντεο, κείμενο, μπλα, μπλα, μπλα. Εμείς, κάπως, πετρώνουμετα πάντα, και σημαδέψτε τα πάντα, και μετά προπονηθείτε γιγάντιαμοντέλα για να κάνουν διακριτές προβλέψεις, βασικά, και με κάποιο τρόπο η τεχνητή νοημοσύνη θα προκύψει από αυτό. Δεν έχουν άδικο, με την έννοια ότι αυτό μπορεί να είναι ένα στοιχείο ενός μελλοντικού ευφυούς συστήματος. Αλλά νομίζω ότι του λείπουν βασικά κομμάτια.
Υπάρχει μια άλλη κατηγορία ανθρώπων που θα επισημάνω με αυτό το χαρτί. Και είναι οι πιθανολόγοι, οι θρησκευτικοί πιθανολόγοι. Έτσι, οι άνθρωποι που πιστεύουν ότι η θεωρία πιθανοτήτων είναι το μόνο πλαίσιο που μπορείτε να χρησιμοποιήσετε για να εξηγήσετε τη μηχανική μάθηση. Και όπως προσπάθησα να εξηγήσω στο κομμάτι, είναι βασικά υπερβολικό να ζητάς ένα παγκόσμιο μοντέλο να είναι εντελώς πιθανολογικό. Δεν ξέρουμε πώς να το κάνουμε. Υπάρχει η υπολογιστική δυσκολία. Οπότε προτείνω να απορρίψουμε όλη αυτή την ιδέα. Και φυσικά, ξέρετε, αυτός είναι ένας τεράστιος πυλώνας όχι μόνο της μηχανικής μάθησης, αλλά και όλων των στατιστικών, που ισχυρίζεται ότι είναι ο κανονικός φορμαλισμός για τη μηχανική μάθηση.
Το άλλο πράγμα -
ZDNet: Είσαι σε ρολό…
YL: — είναι αυτό που λέγεται γενετικά μοντέλα. Έτσι, η ιδέα ότι μπορείς να μάθεις να προβλέπεις, και ίσως μπορείς να μάθεις πολλά για τον κόσμο με την πρόβλεψη. Λοιπόν, σας δίνω ένα κομμάτι βίντεο και ζητώ από το σύστημα να προβλέψει τι θα συμβεί στη συνέχεια στο βίντεο. Και μπορεί να σας ζητήσω να προβλέψετε τα πραγματικά καρέ βίντεο με όλες τις λεπτομέρειες. Αλλά αυτό για το οποίο διαφωνώ στην εφημερίδα είναι ότι στην πραγματικότητα είναι πάρα πολύ να ρωτήσω και πολύ περίπλοκο. Και αυτό είναι κάτι για το οποίο άλλαξα γνώμη. Μέχρι πριν από περίπου δύο χρόνια, ήμουν υπέρμαχος αυτού που αποκαλώ λανθάνουσα μεταβλητή γενεσιουργών μοντέλων, μοντέλων που προβλέπουν τι θα συμβεί στη συνέχεια ή των πληροφοριών που λείπουν, πιθανώς με τη βοήθεια μιας λανθάνουσας μεταβλητής, εάν η πρόβλεψη δεν μπορεί να γίνει ντετερμινιστική. Και το έχω παρατήσει αυτό. Και ο λόγος που εγκατέλειψα αυτό βασίζεται σε εμπειρικά αποτελέσματα, όπου οι άνθρωποι προσπάθησαν να εφαρμόσουν, είδος, πρόβλεψη ή εκπαίδευση με βάση την ανασυγκρότηση του τύπου που χρησιμοποιείται στο BERTκαι μεγάλα γλωσσικά μοντέλα, προσπάθησαν να το εφαρμόσουν αυτό σε εικόνες, και ήταν μια πλήρης αποτυχία. Και ο λόγος που είναι μια πλήρης αποτυχία είναι, και πάλι, λόγω των περιορισμών των πιθανοτικών μοντέλων όπου είναι σχετικά εύκολο να προβλέψουμε διακριτά διακριτικά όπως λέξεις επειδή μπορούμε να υπολογίσουμε την κατανομή πιθανοτήτων σε όλες τις λέξεις του λεξικού. Αυτό είναι εύκολο. Αλλά αν ζητήσουμε από το σύστημα να παράγει την κατανομή πιθανότητας σε όλα τα πιθανά καρέ βίντεο, δεν έχουμε ιδέα πώς να την παραμετροποιήσουμε ή έχουμε κάποια ιδέα πώς να την παραμετροποιήσουμε, αλλά δεν ξέρουμε πώς να την κανονικοποιήσουμε. Αντιμετωπίζει ένα δυσεπίλυτο μαθηματικό πρόβλημα που δεν ξέρουμε πώς να λύσουμε.
«Δεν είμαστε στο σημείο όπου οι έξυπνες μηχανές μας να έχουν τόσο κοινή λογική όσο μια γάτα», παρατηρεί ο Lecun. «Λοιπόν, γιατί δεν ξεκινάμε από εκεί; Τι είναι αυτό που επιτρέπει σε μια γάτα να αντιλαμβάνεται τον περιβάλλοντα κόσμο, να κάνει αρκετά έξυπνα πράγματα και να σχεδιάζει και τέτοια πράγματα, και τα σκυλιά ακόμα καλύτερα;»
Οπότε, γι' αυτό λέω ας εγκαταλείψουμε τη θεωρία πιθανοτήτων ή το πλαίσιο για τέτοια πράγματα, τα πιο αδύναμα μοντέλα που βασίζονται στην ενέργεια. Υποστήριξα γι' αυτό, επίσης, εδώ και δεκαετίες, οπότε αυτό δεν είναι πρόσφατο. Αλλά ταυτόχρονα, εγκαταλείποντας την ιδέα των γενεσιουργών μοντέλων γιατί υπάρχουν πολλά πράγματα στον κόσμο που δεν είναι κατανοητά και μη προβλέψιμα. Αν είσαι μηχανικός, το λες θόρυβο. Αν είσαι φυσικός, το λες θερμότητα. Και αν είσαι άνθρωπος μηχανικής μάθησης, το λες, ξέρεις, άσχετες λεπτομέρειες ή οτιδήποτε άλλο.
Λοιπόν, το παράδειγμα που χρησιμοποίησα στην εφημερίδα, ή που χρησιμοποίησα σε ομιλίες, είναι ότι θέλετε ένα σύστημα πρόβλεψης του κόσμου που θα βοηθούσε σε ένα αυτοοδηγούμενο αυτοκίνητο, σωστά; Θέλει να μπορεί να προβλέψει, εκ των προτέρων, τις τροχιές όλων των άλλων αυτοκινήτων, τι θα συμβεί με άλλα αντικείμενα που μπορεί να κινηθούν, πεζούς, ποδήλατα, ένα παιδί που τρέχει πίσω από μια μπάλα ποδοσφαίρου, τέτοια πράγματα. Λοιπόν, όλα τα είδη για τον κόσμο. Αλλά στα σύνορα του δρόμου, μπορεί να υπάρχουν δέντρα, και υπάρχει αέρας σήμερα, έτσι τα φύλλα κινούνται στον άνεμο, και πίσω από τα δέντρα υπάρχει μια λίμνη, και υπάρχουν κυματισμοί στη λίμνη. Και αυτά είναι, ουσιαστικά, σε μεγάλο βαθμό απρόβλεπτα φαινόμενα. Και, δεν θέλετε το μοντέλο σας να ξοδεύει σημαντικό ποσό πόρων για να προβλέψει εκείνα τα πράγματα που είναι τόσο δύσκολο να προβλεφθούν όσο και άσχετα. Γι' αυτό, λοιπόν, υποστηρίζω την αρχιτεκτονική κοινής ενσωμάτωσης, εκείνα τα πράγματα όπου η μεταβλητή που προσπαθείτε να μοντελοποιήσετε, δεν προσπαθείτε να την προβλέψετε, προσπαθείτε να τη μοντελοποιήσετε, αλλά περνάει μέσα από έναν κωδικοποιητή και αυτός ο κωδικοποιητής μπορεί να εξαλείψει πολλές λεπτομέρειες σχετικά με την είσοδο που είναι άσχετες ή πολύ περίπλοκες — βασικά, ισοδύναμες με θόρυβο.
ZDNet: Συζητήσαμε νωρίτερα φέτος για μοντέλα που βασίζονται στην ενέργεια, τα JEPA και H-JEPA. Η άποψή μου, αν σας καταλαβαίνω σωστά, είναι ότι βρίσκετε το σημείο χαμηλής ενέργειας όπου αυτές οι δύο προβλέψεις των ενσωματώσεων X και Y είναι πιο παρόμοιες, πράγμα που σημαίνει ότι εάν υπάρχει ένα περιστέρι σε ένα δέντρο σε ένα, και υπάρχει κάτι στο φόντο μιας σκηνής, αυτά μπορεί να μην είναι τα βασικά σημεία που κάνουν αυτές τις ενσωματώσεις κοντά η μία στην άλλη.
YL: Σωστά. Έτσι, η αρχιτεκτονική JEPA προσπαθεί στην πραγματικότητα να βρει έναν συμβιβασμό, έναν συμβιβασμό, μεταξύ της εξαγωγής παραστάσεων που είναι στο μέγιστο ενημερωτικές για τις εισόδους αλλά και προβλέψιμες μεταξύ τους με κάποιο επίπεδο ακρίβειας ή αξιοπιστίας. Βρίσκει συμβιβασμό. Έτσι, εάν έχει την επιλογή ανάμεσα στο να ξοδέψει ένα τεράστιο ποσό πόρων, συμπεριλαμβανομένων των λεπτομερειών της κίνησης των φύλλων, και στη συνέχεια να μοντελοποιήσει τη δυναμική που θα αποφασίσει πώς κινούνται τα φύλλα σε ένα δευτερόλεπτο από τώρα, ή απλώς να τους ρίξει στο πάτωμα Απλώς βασικά τρέχει τη μεταβλητή Y μέσω ενός προγνωστικού που εξαλείφει όλες αυτές τις λεπτομέρειες, πιθανότατα απλώς θα την εξαλείψει επειδή είναι πολύ δύσκολο να μοντελοποιηθεί και να αποτυπωθεί.
ZDNet: Ένα πράγμα που προκαλεί έκπληξη είναι ότι ήσασταν μεγάλος υποστηρικτής του να πείτε «Λειτουργεί, θα καταλάβουμε αργότερα τη θεωρία της θερμοδυναμικής για να το εξηγήσουμε». Εδώ έχετε υιοθετήσει μια προσέγγιση του: «Δεν ξέρω πώς θα το λύσουμε απαραίτητα, αλλά θέλω να υποβάλω μερικές ιδέες για να το σκεφτώ», και ίσως ακόμη και να προσεγγίσετε μια θεωρία ή μια υπόθεση, στο ελάχιστα. Αυτό είναι ενδιαφέρον γιατί υπάρχουν πολλοί άνθρωποι που ξοδεύουν πολλά χρήματα δουλεύοντας στο αυτοκίνητο που μπορεί να δει τον πεζό ανεξάρτητα από το αν το αυτοκίνητο έχει κοινή λογική. Και φαντάζομαι ότι μερικοί από αυτούς τους ανθρώπους δεν θα ξεχωρίσουν, αλλά θα πουν, «Εντάξει, δεν μας νοιάζει αν δεν έχει κοινή λογική, έχουμε φτιάξει μια προσομοίωση, η προσομοίωση είναι καταπληκτική, και θα συνεχίσουμε να βελτιώνουμε, θα συνεχίσουμε να κλιμακώνουμε την προσομοίωση».
Και επομένως είναι ενδιαφέρον που είστε σε θέση να πείτε τώρα, ας κάνουμε ένα βήμα πίσω και ας σκεφτούμε τι κάνουμε. Και η βιομηχανία λέει ότι απλώς θα κλιμακώσουμε, κλίμακα, κλίμακα, κλίμακα, γιατί αυτός ο στρόφαλος λειτουργεί πραγματικά. Εννοώ ότι η μανιβέλα ημιαγωγών των GPU λειτουργεί πραγματικά.
YL: Υπάρχουν, περίπου, πέντε ερωτήσεις εκεί. Άρα, εννοώ, η κλιμάκωση είναι απαραίτητη. Δεν κατακρίνω το γεγονός ότι πρέπει να κλιμακώνουμε. Πρέπει να κλιμακώσουμε. Αυτά τα νευρωνικά δίκτυα βελτιώνονται όσο μεγαλώνουν. Δεν υπάρχει αμφιβολία ότι πρέπει να κλιμακώσουμε. Και αυτά που θα έχουν κάποιο επίπεδο κοινής λογικής θα είναι μεγάλα. Δεν υπάρχει τρόπος να το παρακάμψετε, νομίζω. Άρα η κλιμάκωση είναι καλή, είναι απαραίτητη, αλλά όχι επαρκής. Αυτό είναι το σημείο που θίγω. Δεν είναι μόνο κλιμάκωση. Αυτό είναι το πρώτο σημείο.
Δεύτερο σημείο, αν προηγείται η θεωρία και τέτοια πράγματα. Λοιπόν, νομίζω ότι υπάρχουν έννοιες που έρχονται πρώτα ότι, πρέπει να κάνετε ένα βήμα πίσω και να πείτε, εντάξει, φτιάξαμε αυτήν τη σκάλα, αλλά θέλουμε να πάμε στο φεγγάρι και δεν υπάρχει περίπτωση αυτή η σκάλα να μας πάει εκεί. Οπότε, βασικά, αυτό που γράφω εδώ είναι ότι πρέπει να κατασκευάσουμε πυραύλους. Δεν μπορώ να σας δώσω λεπτομέρειες για το πώς κατασκευάζουμε πυραύλους, αλλά εδώ είναι οι βασικές αρχές. Και δεν γράφω μια θεωρία για αυτό ή τίποτα, αλλά, θα είναι ένας πύραυλος, εντάξει; Ή διαστημικό ασανσέρ ή οτιδήποτε άλλο. Μπορεί να μην έχουμε όλες τις λεπτομέρειες όλης της τεχνολογίας. Προσπαθούμε να κάνουμε μερικά από αυτά τα πράγματα να λειτουργήσουν, όπως δούλευα στο JEPA. Η κοινή ενσωμάτωση λειτουργεί πολύ καλά για την αναγνώριση εικόνας, αλλά για να τη χρησιμοποιήσετε για να εκπαιδεύσετε ένα παγκόσμιο μοντέλο, υπάρχουν δυσκολίες. Δουλεύουμε πάνω σε αυτό, ελπίζουμε ότι θα το κάνουμε να λειτουργήσει soon, αλλά μπορεί να συναντήσουμε κάποια εμπόδια εκεί που δεν μπορούμε να τα ξεπεράσουμε, ενδεχομένως.
Στη συνέχεια, υπάρχει μια βασική ιδέα στην εργασία σχετικά με τη συλλογιστική, όπου αν θέλουμε τα συστήματα να μπορούν να προγραμματίσουν, την οποία μπορείτε να σκεφτείτε ως μια απλή μορφή συλλογισμού, πρέπει να έχουν λανθάνουσες μεταβλητές. Με άλλα λόγια, πράγματα που δεν υπολογίζονται από κανένα νευρωνικό δίκτυο αλλά πράγματα που είναι — των οποίων η τιμή συνάγεται έτσι ώστε να ελαχιστοποιείται κάποια αντικειμενική συνάρτηση, κάποια συνάρτηση κόστους. Στη συνέχεια, μπορείτε να χρησιμοποιήσετε αυτήν τη συνάρτηση κόστους για να οδηγήσετε τη συμπεριφορά του συστήματος. Και αυτή δεν είναι καθόλου νέα ιδέα, σωστά; Αυτός είναι πολύ κλασικός, βέλτιστος έλεγχος όπου η βάση αυτού ανάγεται στα τέλη της δεκαετίας του '50, στις αρχές της δεκαετίας του '60. Οπότε, χωρίς να διεκδικήσουμε κάποια καινοτομία εδώ. Αλλά αυτό που λέω είναι ότι αυτός ο τύπος συμπερασμάτων πρέπει να είναι μέρος ενός ευφυούς συστήματος που είναι ικανό να προγραμματίσει και του οποίου η συμπεριφορά μπορεί να προσδιοριστεί ή να ελεγχθεί όχι από μια ενσύρματη συμπεριφορά, όχι από μίμηση, αλλά από μια αντικειμενική συνάρτηση που καθοδηγεί τη συμπεριφορά — δεν οδηγεί στη μάθηση, απαραίτητα, αλλά οδηγεί στη συμπεριφορά. Ξέρετε, το έχουμε στον εγκέφαλό μας, και κάθε ζώο έχει εγγενές κόστος ή εγγενή κίνητρα για πράγματα. Αυτό οδηγεί τα μωρά εννέα μηνών να θέλουν να σηκωθούν. Το κόστος του να είσαι χαρούμενος όταν στέκεσαι όρθιος, αυτός ο όρος στη συνάρτηση κόστους είναι συνδεδεμένος. Αλλά πώς σηκώνεσαι δεν είναι, αυτό μαθαίνεις.
«Η κλιμάκωση είναι καλή, είναι απαραίτητη, αλλά όχι επαρκής», λέει ο LeCun για γιγάντια μοντέλα γλώσσας όπως τα προγράμματα που βασίζονται σε Transformer της ποικιλίας GPT-3. Οι θιασώτες του Transformer πιστεύουν: «Καταφέρουμε τα πάντα και προπονούμαστε γιγαντιαίαμοντέλα για να κάνουν διακριτές προβλέψεις και με κάποιο τρόπο η τεχνητή νοημοσύνη θα προκύψει από αυτό… αλλά νομίζω ότι λείπουν βασικά κομμάτια».
ZDNet: Ακριβώς για να ολοκληρώσουμε αυτό το σημείο, μεγάλο μέρος της κοινότητας βαθιάς μάθησης φαίνεται ότι προχωρά με κάτι που δεν έχει κοινή λογική. Φαίνεται ότι προβάλλεις ένα αρκετά σαφές επιχείρημα εδώ ότι κάποια στιγμή γίνεται αδιέξοδο. Κάποιοι λένε ότι δεν χρειαζόμαστε ένα αυτόνομο αυτοκίνητο με κοινή λογική γιατί η κλιμάκωση θα το κάνει. Ακούγεται σαν να λες ότι δεν είναι εντάξει να συνεχίζεις μόνο σε αυτό το μονοπάτι;
YL: Ξέρετε, νομίζω ότι είναι απολύτως πιθανό να έχουμε αυτόνομα αυτοκίνητα επιπέδου πέντε χωρίς κοινή λογική. Αλλά το πρόβλημα με αυτήν την προσέγγιση, αυτό θα είναι προσωρινό, γιατί θα πρέπει να το φτιάξετε στο διάολο. Λοιπόν, ξέρετε, χαρτογραφήστε ολόκληρο τον κόσμο, καλωδιώστε κάθε είδους συγκεκριμένη συμπεριφορά στη γωνία, συλλέξτε αρκετά δεδομένα ώστε να έχετε όλες τις περίεργες καταστάσεις που μπορείτε να συναντήσετε στους δρόμους, μπλα, μπλα, μπλα. Και η εικασία μου είναι ότι με αρκετή επένδυση και χρόνο, μπορείτε απλά να τα καταφέρετε. Αλλά τελικά, θα υπάρξει μια πιο ικανοποιητική και πιθανώς καλύτερη λύση που περιλαμβάνει συστήματα που κάνουν καλύτερη δουλειά στην κατανόηση του τρόπου με τον οποίο λειτουργεί ο κόσμος και έχουν, ξέρετε, κάποιο επίπεδο αυτού που θα ονομάζαμε κοινή λογική. Δεν χρειάζεται να είναι κοινή λογική σε ανθρώπινο επίπεδο, αλλά κάποιο είδος γνώσης που το σύστημα μπορεί να αποκτήσει παρακολουθώντας, αλλά όχι βλέποντας κάποιον να οδηγεί, απλώς παρακολουθώντας πράγματα που κινούνται και κατανοώντας πολλά για τον κόσμο, χτίζοντας ένα υπόβαθρο γνώση για το πώς λειτουργεί ο κόσμος, πάνω από την οποία μπορείτε να μάθετε να οδηγείτε.
Επιτρέψτε μου να πάρω ένα ιστορικό παράδειγμα αυτού. Η κλασική όραση υπολογιστών βασίστηκε σε πολλές ενσύρματες, κατασκευασμένες ενότητες, πάνω από τις οποίες θα είχατε, κατά κάποιο τρόπο, ένα λεπτό στρώμα μάθησης. Έτσι, τα πράγματα που νικήθηκαν από την AlexNet το 2012, είχαν βασικά ένα πρώτο στάδιο, χειροποίητες εξαγωγές χαρακτηριστικών, όπως τα SIFT [Scale-Invariant Feature Transform (SIFT), μια κλασική τεχνική όρασης για τον εντοπισμό σημαντικών αντικειμένων σε μια εικόνα] και HOG [Ιστόγραμμα Oriented Gradients, μια άλλη κλασική τεχνική] και διάφορα άλλα. Και μετά το δεύτερο επίπεδο χαρακτηριστικών, τύπου, μεσαίου επιπέδου που βασίζονται σε πυρήνες χαρακτηριστικών και οτιδήποτε άλλο, και κάποιο είδος μεθόδου χωρίς επίβλεψη. Και στη συνέχεια, πάνω από αυτό, βάζετε ένα μηχάνημα διανυσμάτων υποστήριξης, ή αλλιώς έναν σχετικά απλό ταξινομητή. Και αυτός ήταν, κάπως, ο τυπικός αγωγός από τα μέσα της δεκαετίας του 2000 έως το 2012. Και αυτό αντικαταστάθηκε από συνελικτικά δίχτυα από άκρο σε άκρο, όπου δεν συνδέετε τίποτα από αυτά, απλά έχετε πολλά δεδομένα, και εκπαιδεύεις το πράγμα από άκρη σε άκρη, που είναι η προσέγγιση που υποστήριζα εδώ και πολύ καιρό, αλλά ξέρεις, μέχρι τότε, δεν ήταν πρακτική για μεγάλα προβλήματα.
Υπήρξε μια παρόμοια ιστορία στην αναγνώριση ομιλίας όπου, πάλι, υπήρχε τεράστιος όγκος λεπτομερούς μηχανικής για τον τρόπο με τον οποίο προεπεξεργάζεστε τα δεδομένα, εξάγετε cepstrum μαζικής κλίμακας [ένα αντίστροφο του Γρήγορου Μετασχηματισμού Fourier για επεξεργασία σήματος] και στη συνέχεια έχετε Hidden Markov Models, με προκαθορισμένη αρχιτεκτονική, μπλα, μπλα, μπλα, με Mixture of Gaussians. Και έτσι, είναι λίγο της ίδιας αρχιτεκτονικής με το όραμα, όπου έχετε δημιουργήσει χειροποίητο μπροστινό μέρος, και στη συνέχεια ένα κάπως χωρίς επίβλεψη, εκπαιδευμένο, μεσαίο στρώμα και μετά ένα εποπτευόμενο στρώμα από πάνω. Και τώρα αυτό έχει, βασικά, εξαλειφθεί από νευρωνικά δίχτυα από άκρη σε άκρη. Οπότε βλέπω κάτι παρόμοιο εκεί όπου προσπαθείς να μάθεις τα πάντα, αλλά πρέπει να έχεις το σωστό προηγούμενο, τη σωστή αρχιτεκτονική, τη σωστή δομή.
Το πλήθος των αυτοκινούμενων αυτοκινήτων, νεοσύστατες εταιρείες όπως η Waymo και η Wayve, ήταν «λίγο υπερβολικά αισιόδοξοι», λέει, πιστεύοντας ότι θα μπορούσαν να «ρίξουν δεδομένα σε αυτό και μπορείτε να μάθετε σχεδόν τα πάντα». Τα αυτοοδηγούμενα αυτοκίνητα στο Επίπεδο 5 του ADAS είναι πιθανά, "Αλλά θα πρέπει να τα κατασκευάσετε στο διάολο" και θα είναι "εύθραυστα" όπως τα πρώιμα μοντέλα υπολογιστικής όρασης.
ZDNet: Αυτό που λέτε είναι ότι μερικοί άνθρωποι θα προσπαθήσουν να σχεδιάσουν αυτό που δεν λειτουργεί επί του παρόντος με τη βαθιά μάθηση για εφαρμογή, ας πούμε, στη βιομηχανία, και θα αρχίσουν να δημιουργούν κάτι που είναι αυτό που έχει ξεπεραστεί στην όραση υπολογιστών;
YL: Σωστά. Και είναι εν μέρει ο λόγος για τον οποίο οι άνθρωποι που εργάζονται στην αυτόνομη οδήγηση ήταν λίγο υπερβολικά αισιόδοξοι τα τελευταία χρόνια, επειδή, ξέρετε, έχετε αυτά τα γενικά πράγματα όπως συνελικτικά δίχτυα και μετασχηματιστές, που μπορείτε να ρίξετε δεδομένα σε αυτό , και μπορεί να μάθει σχεδόν οτιδήποτε. Λοιπόν, λέτε, Εντάξει, έχω τη λύση σε αυτό το πρόβλημα. Το πρώτο πράγμα που κάνετε είναι να δημιουργήσετε ένα demo όπου το αυτοκίνητο οδηγεί μόνο του για λίγα λεπτά χωρίς να βλάψει κανέναν. Και τότε συνειδητοποιείς ότι υπάρχουν πολλές γωνιακές θήκες και προσπαθείς να σχεδιάσεις την καμπύλη του πόσο καλύτερα γίνομαι καθώς διπλασιάζω το σετ προπόνησης και συνειδητοποιείς ότι δεν πρόκειται να φτάσεις ποτέ εκεί γιατί υπάρχουν όλων των ειδών οι γωνιακές θήκες . Και πρέπει να έχετε ένα αυτοκίνητο που θα προκαλέσει θανατηφόρο ατύχημα λιγότερο από κάθε 200 εκατομμύρια χιλιόμετρα, σωστά; Λοιπόν τι κάνεις? Λοιπόν, περπατάς προς δύο κατευθύνσεις.
Η πρώτη κατεύθυνση είναι, πώς μπορώ να μειώσω την ποσότητα των δεδομένων που είναι απαραίτητα για να μάθει το σύστημά μου; Και εκεί είναι που μπαίνει η αυτο-εποπτευόμενη μάθηση. Έτσι, πολλές στολές αυτοοδηγούμενων αυτοκινήτων ενδιαφέρονται πολύ για την αυτο-εποπτευόμενη μάθηση, επειδή αυτός είναι ένας τρόπος να εξακολουθούν να χρησιμοποιούνται γιγαντιαίες ποσότητες εποπτικών δεδομένων για μάθηση μίμησης, αλλά να έχουν καλύτερη απόδοση με προ-προπόνηση, ουσιαστικά. Και δεν έχει ολοκληρωθεί ακόμα, αλλά θα γίνει. Και μετά υπάρχει η άλλη επιλογή, την οποία έχουν υιοθετήσει οι περισσότερες εταιρείες που είναι πιο προηγμένες σε αυτό το σημείο, η οποία είναι, εντάξει, μπορούμε να κάνουμε την εκπαίδευση από άκρο σε άκρο, αλλά υπάρχουν πολλές γωνιακές περιπτώσεις που μπορούμε». t χειριστεί, οπότε θα σχεδιάσουμε απλώς συστήματα που θα φροντίζουν αυτές τις γωνιακές θήκες και, βασικά, θα τις αντιμετωπίζουν ως ειδικές περιπτώσεις, θα καλωδιώνουν το χειριστήριο και στη συνέχεια θα καλωδιώνουν πολλές βασικές συμπεριφορές για να χειρίζονται ειδικές καταστάσεις. Και αν έχετε μια αρκετά μεγάλη ομάδα μηχανικών, μπορεί να το καταφέρετε. Αλλά θα χρειαστεί πολύς χρόνος, και στο τέλος, θα είναι ακόμα λίγο εύθραυστο, ίσως αρκετά αξιόπιστο ώστε να μπορείτε να το αναπτύξετε, αλλά με κάποιο επίπεδο ευθραυστότητας, το οποίο, με μια πιο βασισμένη στη μάθηση προσέγγιση που μπορεί να εμφανιστεί στο μέλλον, τα αυτοκίνητα δεν θα έχουν γιατί μπορεί να έχουν κάποιο επίπεδο κοινής λογικής και κατανόησης για το πώς λειτουργεί ο κόσμος.
Βραχυπρόθεσμα, η, κατά κάποιο τρόπο, σχεδιασμένη προσέγγιση θα κερδίσει — ήδη κερδίζει. Αυτό είναι το Waymo και το Cruise του κόσμου και το Wayveκαι οτιδήποτε, αυτό κάνουν. Έπειτα, υπάρχει η αυτο-εποπτευόμενη προσέγγιση μάθησης, η οποία πιθανώς θα βοηθήσει τη μηχανική προσέγγιση να σημειώσει πρόοδο. Αλλά στη συνέχεια, μακροπρόθεσμα, που μπορεί να είναι πολύ καιρό για να περιμένουν αυτές οι εταιρείες, πιθανότατα θα ήταν ένα πιο ολοκληρωμένο αυτόνομο σύστημα έξυπνης οδήγησης.
ZDNet: Λέμε πέρα από τον επενδυτικό ορίζοντα των περισσότερων επενδυτών.
YL: Σωστά. Έτσι, το ερώτημα είναι, θα χάσουν οι άνθρωποι την υπομονή τους ή θα ξεμείνουν από χρήματα πριν η απόδοση φτάσει στο επιθυμητό επίπεδο.
ZDNet: Υπάρχει κάτι ενδιαφέρον να πούμε για το γιατί επιλέξατε κάποια από τα στοιχεία που επιλέξατε στο μοντέλο; Επειδή αναφέρετε τον Kenneth Craik [1943,Η φύση της εξήγησης], και αναφέρετε τους Bryson και Ho [1969, Εφαρμόζεται βέλτιστος έλεγχος], και είμαι περίεργος για το γιατί ξεκινήσατε με αυτές τις επιρροές, αν πίστευες ειδικά ότι αυτοί οι άνθρωποι το έβαλαν μέχρι εκεί που είχαν κάνει. Γιατί ξεκίνησες από εκεί;
YL: Λοιπόν, δεν νομίζω, σίγουρα, είχαν όλες τις λεπτομέρειες. Λοιπόν, Bryson and Ho, αυτό είναι ένα βιβλίο που διάβασα το 1987 όταν ήμουν μεταδιδακτορικός με τον Geoffrey Hinton στο Τορόντο. Αλλά ήξερα για αυτήν τη γραμμή εργασίας εκ των προτέρων όταν έγραφα το διδακτορικό μου, και έκανα τη σύνδεση μεταξύ του βέλτιστου ελέγχου και της υποστήριξης, ουσιαστικά. Αν πραγματικά θέλατε να γίνετε, ξέρετε, ένας άλλος Schmidhuber, θα λέγατε ότι οι πραγματικοί εφευρέτες του backprop ήταν στην πραγματικότητα οι θεωρητικοί του βέλτιστου ελέγχου Henry J. Kelley, Arthur Bryson και ίσως ακόμη και ο Lev Pontryagin, ο οποίος είναι ένας Ρώσος θεωρητικός του βέλτιστου ελέγχου πίσω. στα τέλη της δεκαετίας του '50.
Έτσι, το κατάλαβαν, και στην πραγματικότητα, μπορείτε πραγματικά να δείτε τη ρίζα αυτού, τα μαθηματικά κάτω από αυτό, είναι η μηχανική του Λαγκράντζ. Έτσι, μπορείτε να επιστρέψετε στον Euler και τον Lagrange, στην πραγματικότητα, και να βρείτε μια μυρωδιά αυτού στον ορισμό τους για την κλασική μηχανική του Lagrange, πραγματικά. Έτσι, στο πλαίσιο του βέλτιστου ελέγχου, αυτό που ενδιέφερε αυτά τα παιδιά ήταν βασικά ο υπολογισμός των τροχιών πυραύλων. Ξέρετε, αυτή ήταν η πρώιμη διαστημική εποχή. Και αν έχετε ένα μοντέλο του πυραύλου, σας λέει εδώ είναι η κατάσταση του πυραύλου τη δεδομένη στιγμή t, και εδώ είναι η δράση που πρόκειται να κάνω, επομένως, ώθηση και ενεργοποιητές διαφόρων ειδών, εδώ είναι η κατάσταση του πυραύλου τη δεδομένη στιγμή t + 1.
ZDNet: Ένα μοντέλο κράτους-δράσης, ένα μοντέλο αξίας.
YL: Αυτό είναι σωστό, η βάση του ελέγχου. Έτσι, τώρα μπορείτε να προσομοιώσετε τη βολή του πυραύλου σας φανταζόμενοι μια σειρά εντολών και στη συνέχεια έχετε κάποια συνάρτηση κόστους, που είναι η απόσταση του πυραύλου από τον στόχο του, έναν διαστημικό σταθμό ή οτιδήποτε άλλο είναι. Και στη συνέχεια, με κάποιο είδος βαθμίδωσης, μπορείτε να καταλάβετε, πώς μπορώ να ενημερώσω τη σειρά ενεργειών μου, ώστε ο πύραυλός μου να πλησιάσει πραγματικά όσο το δυνατόν πιο κοντά στον στόχο. Και αυτό πρέπει να προκύψει με την αντίστροφη διάδοση σημάτων προς τα πίσω στο χρόνο. Και αυτό είναι back-propagation, gradient back-propagation. Αυτά τα σήματα, ονομάζονται συζευγμένες μεταβλητές στη μηχανική του Λαγκρανγκ, αλλά στην πραγματικότητα είναι διαβαθμίσεις. Έτσι, επινόησαν το backprop, αλλά δεν συνειδητοποίησαν ότι αυτή η αρχή θα μπορούσε να χρησιμοποιηθεί για την εκπαίδευση ενός συστήματος πολλαπλών σταδίων που μπορεί να κάνει αναγνώριση μοτίβων ή κάτι τέτοιο. Αυτό δεν έγινε πραγματικά αντιληπτό ίσως μέχρι τα τέλη της δεκαετίας του '70, τις αρχές της δεκαετίας του '80, και στη συνέχεια δεν εφαρμόστηκε στην πραγματικότητα και τέθηκε σε λειτουργία μέχρι τα μέσα της δεκαετίας του '80. Εντάξει, λοιπόν, αυτό είναι το σημείο όπου το backprop πραγματικά, κάπως, απογειώθηκε επειδή οι άνθρωποι έδειξαν εδώ μερικές γραμμές κώδικα που μπορείτε να εκπαιδεύσετε ένα νευρωνικό δίκτυο, από άκρο σε άκρο, πολυεπίπεδο. Και αυτό αίρει τους περιορισμούς του Perceptron. Και, ναι, υπάρχουν συνδέσεις με βέλτιστο έλεγχο, αλλά δεν πειράζει.
ZDNet: Λοιπόν, αυτό είναι πολύ μακριά για να πούμε ότι αυτές οι επιρροές με τις οποίες ξεκινήσατε επέστρεφαν πίσω και αυτό ήταν σημαντικό ως αφετηρία για εσάς;
YL: Ναι, αλλά νομίζω ότι αυτό που οι άνθρωποι ξέχασαν λίγο, υπήρχε αρκετή δουλειά σε αυτό, ξέρετε, στη δεκαετία του '90 ή ακόμα και στη δεκαετία του '80, μεταξύ άλλων από ανθρώπους όπως ο Michael Jordan [ΜΙΤ Dept. of Brain και Γνωστικές Επιστήμες] και ανθρώπους σαν αυτούς που δεν κάνουν πλέον νευρωνικά δίκτυα, αλλά η ιδέα ότι μπορείτε να χρησιμοποιήσετε νευρικά δίκτυα για έλεγχο και μπορείτε να χρησιμοποιήσετε κλασικές ιδέες βέλτιστου ελέγχου. Έτσι, πράγματα όπως αυτό που ονομάζεται έλεγχος πρόβλεψης μοντέλου, αυτό που τώρα ονομάζεται έλεγχος πρόβλεψης μοντέλου, αυτή η ιδέα ότι μπορείτε να προσομοιώσετε ή να φανταστείτε το αποτέλεσμα μιας ακολουθίας ενεργειών εάν έχετε ένα καλό μοντέλο του συστήματος που προσπαθείτε να ελέγξετε και το περιβάλλον μέσα στο οποίο βρίσκεται. Και μετά με βαθμιδωτή κάθοδο, ουσιαστικά — αυτό δεν είναι μάθηση, είναι συμπέρασμα — μπορείτε να καταλάβετε ποια είναι η καλύτερη ακολουθία ενεργειών που θα ελαχιστοποιήσουν τον στόχο μου. Έτσι, η χρήση μιας συνάρτησης κόστους με μια λανθάνουσα μεταβλητή για συμπέρασμα είναι, νομίζω, κάτι που οι τρέχουσες καλλιέργειες νευρωνικών δικτύων μεγάλης κλίμακας έχουν ξεχάσει. Αλλά ήταν ένα πολύ κλασικό συστατικό της μηχανικής μάθησης για μεγάλο χρονικό διάστημα. Έτσι, κάθε Bayesian Net ή γραφικό μοντέλο ή πιθανοτικό γραφικό μοντέλο χρησιμοποιούσε αυτόν τον τύπο συμπερασμάτων. Έχετε ένα μοντέλο που καταγράφει τις εξαρτήσεις μεταξύ μιας δέσμης μεταβλητών, σας λένε την τιμή ορισμένων από τις μεταβλητές και, στη συνέχεια, πρέπει να συμπεράνετε την πιο πιθανή τιμή των υπόλοιπων μεταβλητών. Αυτή είναι η βασική αρχή της εξαγωγής συμπερασμάτων σε γραφικά μοντέλα και Bayesian Nets, και τέτοια πράγματα. Και νομίζω ότι βασικά αυτό πρέπει να είναι ο συλλογισμός, ο συλλογισμός και ο σχεδιασμός.
ZDNet: Είσαι μπεϊζιανός ντουλάπας.
YL: Είμαι ένας μη πιθανολογικός Μπεϋζιανός. Έκανα αυτό το αστείο πριν. Ήμουν στην πραγματικότητα στο NeurIPS πριν από μερικά χρόνια, νομίζω ότι ήταν το 2018 ή το 2019, και με έπιασε σε βίντεο ένας Μπεϋζιανός που με ρώτησε αν ήμουν Μπεϋζιανός και είπα, Ναι, είμαι Μπεϋζιανός, αλλά Είμαι ένας μη πιθανολογικός Bayesian, κάπως, ένας Bayesian βασισμένος στην ενέργεια, αν θέλετε.
ZDNet: Το οποίο σίγουρα ακούγεται σαν κάτι από Star Trek. Αναφέρατε στο τέλος αυτής της εργασίας, ότι θα χρειαστούν χρόνια πραγματικά σκληρής δουλειάς για να πραγματοποιήσετε αυτό που οραματίζεστε. Πείτε μου τι αποτελείται από αυτό το έργο αυτή τη στιγμή.
YL: Έτσι, εξηγώ πώς εκπαιδεύετε και χτίζετε το JEPA στο έντυπο. Και το κριτήριο για το οποίο υποστηρίζω είναι να υπάρχει κάποιος τρόπος μεγιστοποίησης του περιεχομένου πληροφοριών που έχουν οι αναπαραστάσεις που εξάγονται σχετικά με την εισαγωγή. Και τότε το δεύτερο ελαχιστοποιεί το σφάλμα πρόβλεψης. Και αν έχετε μια λανθάνουσα μεταβλητή στον προγνωστικό παράγοντα που επιτρέπει στον προγνωστικό να είναι μη ντετερμινιστικός, πρέπει να ρυθμίσετε και αυτή τη λανθάνουσα μεταβλητή ελαχιστοποιώντας το περιεχόμενο πληροφοριών του. Λοιπόν, έχετε δύο ζητήματα τώρα, το πώς μεγιστοποιείτε το περιεχόμενο πληροφοριών της εξόδου κάποιου νευρωνικού δικτύου και το άλλο είναι πώς ελαχιστοποιείτε το περιεχόμενο πληροφοριών κάποιας λανθάνουσας μεταβλητής; Και αν δεν κάνετε αυτά τα δύο πράγματα, το σύστημα θα καταρρεύσει. Δεν θα μάθει τίποτα ενδιαφέρον. Θα δώσει μηδενική ενέργεια σε όλα, κάτι τέτοιο, που δεν είναι καλό μοντέλο εξάρτησης. Είναι το πρόβλημα πρόληψης κατάρρευσης που αναφέρω.
Και λέω για όλα τα πράγματα που έχουν κάνει ποτέ οι άνθρωποι, υπάρχουν μόνο δύο κατηγορίες μεθόδων για την πρόληψη της κατάρρευσης. Η μία είναι οι αντιθετικές μέθοδοι και η άλλη είναι αυτές οι κανονικοποιημένες μέθοδοι. Άρα, αυτή η ιδέα της μεγιστοποίησης του περιεχομένου πληροφοριών των αναπαραστάσεων των δύο εισόδων και της ελαχιστοποίησης του περιεχομένου πληροφοριών της λανθάνουσας μεταβλητής, ανήκει σε κανονικοποιημένες μεθόδους. Αλλά πολλές από τις εργασίες σε αυτές τις κοινές αρχιτεκτονικές ενσωμάτωσης χρησιμοποιούν μεθόδους αντίθεσης. Στην πραγματικότητα, είναι ίσως τα πιο δημοφιλή αυτή τη στιγμή. Επομένως, το ερώτημα είναι πώς ακριβώς μετράτε το περιεχόμενο πληροφοριών με τρόπο που μπορείτε να βελτιστοποιήσετε ή να ελαχιστοποιήσετε; Και εκεί είναι που τα πράγματα γίνονται περίπλοκα επειδή δεν ξέρουμε πραγματικά πώς να μετρήσουμε το περιεχόμενο πληροφοριών. Μπορούμε να το προσεγγίσουμε, μπορούμε να το περιορίσουμε, μπορούμε να κάνουμε τέτοια πράγματα. Αλλά στην πραγματικότητα δεν μετρούν το περιεχόμενο πληροφοριών, το οποίο, στην πραγματικότητα, σε κάποιο βαθμό δεν είναι καν καλά καθορισμένο.
ZDNet: Δεν είναι ο νόμος του Shannon; Δεν είναι θεωρία πληροφοριών; Έχετε ένα ορισμένο ποσό εντροπίας, καλή εντροπία και κακή εντροπία, και η καλή εντροπία είναι ένα σύστημα συμβόλων που λειτουργεί, η κακή εντροπία είναι θόρυβος. Δεν τα λύνει όλα η Σάνον;
YL: Έχεις δίκιο, αλλά υπάρχει ένα μεγάλο ελάττωμα πίσω από αυτό. Έχετε δίκιο με την έννοια ότι εάν έχετε δεδομένα που σας έρχονται και μπορείτε με κάποιο τρόπο να ποσοτικοποιήσετε τα δεδομένα σε διακριτά σύμβολα και μετά μετρήσετε την πιθανότητα καθενός από αυτά τα σύμβολα, τότε η μέγιστη ποσότητα πληροφοριών που μεταφέρεται από αυτά τα σύμβολα είναι η άθροισμα πάνω από τα πιθανά σύμβολα του Pi log Pi, σωστά? Οπου Pi είναι η πιθανότητα συμβόλου Εγώ - αυτή είναι η εντροπία Shannon. [Ο νόμος του Shannon διατυπώνεται συνήθως ως H = – ∑ pi log pi.]
Εδώ είναι όμως το πρόβλημα: Τι είναι Pi? Είναι εύκολο όταν ο αριθμός των συμβόλων είναι μικρός και τα σύμβολα σχεδιάζονται ανεξάρτητα. Όταν υπάρχουν πολλά σύμβολα και εξαρτήσεις, είναι πολύ δύσκολο. Έτσι, εάν έχετε μια ακολουθία bit και υποθέσετε ότι τα bit είναι ανεξάρτητα μεταξύ τους και η πιθανότητα είναι ίση μεταξύ ενός και μηδέν ή οτιδήποτε άλλο, τότε μπορείτε εύκολα να μετρήσετε την εντροπία, δεν υπάρχει πρόβλημα. Αλλά αν τα πράγματα που σας έρχονται είναι διανύσματα υψηλών διαστάσεων, όπως, ξέρετε, πλαίσια δεδομένων ή κάτι τέτοιο, τι είναι Pi? Ποια είναι η διανομή; Πρώτα πρέπει να κβαντίσετε αυτόν τον χώρο, ο οποίος είναι ένας υψηλών διαστάσεων, συνεχής χώρος. Δεν έχετε ιδέα πώς να το ποσοτικοποιήσετε σωστά. Μπορείτε να χρησιμοποιήσετε k-means, κ.λπ. Αυτό κάνουν οι άνθρωποι όταν κάνουν συμπίεση βίντεο και συμπίεση εικόνας. Αλλά είναι μόνο μια προσέγγιση. Και τότε πρέπει να κάνετε υποθέσεις ανεξαρτησίας. Έτσι, είναι ξεκάθαρο ότι σε ένα βίντεο, τα διαδοχικά καρέ δεν είναι ανεξάρτητα. Υπάρχουν εξαρτήσεις και αυτό το πλαίσιο μπορεί να εξαρτάται από ένα άλλο πλαίσιο που είδατε πριν από μια ώρα, το οποίο ήταν μια εικόνα του ίδιου πράγματος. Άρα, ξέρετε, δεν μπορείτε να μετρήσετε Pi. Να μετρήσετε Pi, πρέπει να έχετε ένα σύστημα μηχανικής μάθησης που μαθαίνει να προβλέπει. Και έτσι επιστρέφετε στο προηγούμενο πρόβλημα. Έτσι, μπορείτε μόνο να προσεγγίσετε το μέτρο των πληροφοριών, ουσιαστικά.
"Το ερώτημα είναι πώς ακριβώς μετράτε το περιεχόμενο πληροφοριών με τρόπο που μπορείτε να βελτιστοποιήσετε ή να ελαχιστοποιήσετε;" λέει ο LeCun. «Και εκεί είναι που τα πράγματα γίνονται περίπλοκα επειδή δεν ξέρουμε πραγματικά πώς να μετρήσουμε το περιεχόμενο πληροφοριών». Το καλύτερο που μπορεί να γίνει μέχρι στιγμής είναι να βρούμε έναν πληρεξούσιο που είναι «αρκετά καλός για την εργασία που θέλουμε».
Επιτρέψτε μου να πάρω ένα πιο συγκεκριμένο παράδειγμα. Ένας από τους αλγόριθμους με τον οποίο παίζουμε, και έχω μιλήσει για το κομμάτι, είναι αυτό το πράγμα που ονομάζεται VICReg, κανονικοποίηση διακύμανσης-αναλλοίωτης-συνδιακύμανσης. Είναι σε ξεχωριστή εργασία που δημοσιεύτηκε στο ICLR, και τέθηκε στο arXiv περίπου ένα χρόνο πριν, το 2021. Και η ιδέα είναι να μεγιστοποιήσουμε τις πληροφορίες. Και η ιδέα προέκυψε από μια προηγούμενη εφημερίδα της ομάδας μου που ονομάζεται Barlow Twins. Μεγιστοποιείτε το περιεχόμενο πληροφοριών ενός διανύσματος που βγαίνει από ένα νευρωνικό δίκτυο, βασικά, υποθέτοντας ότι η μόνη εξάρτηση μεταξύ των μεταβλητών είναι η συσχέτιση, η γραμμική εξάρτηση. Έτσι, εάν υποθέσετε ότι η μόνη εξάρτηση που είναι δυνατή μεταξύ ζευγαριών μεταβλητών ή μεταξύ μεταβλητών στο σύστημά σας, είναι οι συσχετίσεις μεταξύ ζευγαριών πολύτιμων αντικειμένων, που είναι η εξαιρετικά πρόχειρη προσέγγιση, τότε μπορείτε να μεγιστοποιήσετε το περιεχόμενο πληροφοριών που βγαίνει από το σύστημά σας βεβαιώνοντας ότι όλες οι μεταβλητές έχουν μη μηδενική διακύμανση - ας πούμε, η διακύμανση ένα, δεν έχει σημασία τι είναι - και στη συνέχεια επανασυσχετίζοντας τις, η ίδια διαδικασία που ονομάζεται λεύκανση, δεν είναι καινούργια. Το πρόβλημα με αυτό είναι ότι μπορείτε κάλλιστα να έχετε εξαιρετικά πολύπλοκες εξαρτήσεις μεταξύ των δύο ομάδων μεταβλητών ή ακόμη και μόνο ζεύγη μεταβλητών που δεν είναι γραμμικές εξαρτήσεις και δεν εμφανίζονται σε συσχετίσεις. Έτσι, για παράδειγμα, εάν έχετε δύο μεταβλητές και όλα τα σημεία αυτών των δύο μεταβλητών ευθυγραμμίζονται σε κάποιο είδος σπιράλ, υπάρχει μια πολύ ισχυρή εξάρτηση μεταξύ αυτών των δύο μεταβλητών, σωστά; Αλλά στην πραγματικότητα, αν υπολογίσετε τη συσχέτιση μεταξύ αυτών των δύο μεταβλητών, δεν συσχετίζονται. Λοιπόν, εδώ είναι ένα παράδειγμα όπου το περιεχόμενο πληροφοριών αυτών των δύο μεταβλητών είναι στην πραγματικότητα πολύ μικρό, είναι μόνο μία ποσότητα επειδή είναι η θέση σας στη σπείρα. Είναι αποσυσχετισμένες, επομένως νομίζετε ότι έχετε πολλές πληροφορίες που προέρχονται από αυτές τις δύο μεταβλητές, ενώ στην πραγματικότητα δεν έχετε, μπορείτε μόνο, ξέρετε, να προβλέψετε ουσιαστικά τη μία από τις μεταβλητές από την άλλη. Έτσι, αυτό δείχνει ότι έχουμε μόνο πολύ προσεγγιστικούς τρόπους μέτρησης του περιεχομένου πληροφοριών.
ZDNet: Και αυτό είναι ένα από τα πράγματα που πρέπει να δουλέψετε τώρα με αυτό; Αυτό είναι το μεγαλύτερο ερώτημα πώς γνωρίζουμε πότε μεγιστοποιούμε και ελαχιστοποιούμε το περιεχόμενο πληροφοριών;
YL: Ή εάν ο διακομιστής μεσολάβησης που χρησιμοποιούμε για αυτό είναι αρκετά καλός για την εργασία που θέλουμε. Στην πραγματικότητα, το κάνουμε αυτό συνεχώς στη μηχανική μάθηση. Οι συναρτήσεις κόστους που ελαχιστοποιούμε δεν είναι ποτέ αυτές που πραγματικά θέλουμε να ελαχιστοποιήσουμε. Έτσι, για παράδειγμα, θέλετε να κάνετε ταξινόμηση, εντάξει; Η συνάρτηση κόστους που θέλετε να ελαχιστοποιήσετε όταν εκπαιδεύετε έναν ταξινομητή είναι ο αριθμός των λαθών που κάνει ο ταξινομητής. Αλλά αυτή είναι μια μη διαφοροποιήσιμη, φρικτή συνάρτηση κόστους που δεν μπορείτε να ελαχιστοποιήσετε επειδή ξέρετε ότι πρόκειται να αλλάξετε τα βάρη του νευρικού σας δικτύου, τίποτα δεν πρόκειται να αλλάξει έως ότου ένα από αυτά τα δείγματα ανατρέψει την απόφασή του και μετά ένα άλμα στο λάθος, θετικό ή αρνητικό.
ZDNet: Έτσι έχετε έναν διακομιστή μεσολάβησης που είναι μια αντικειμενική συνάρτηση που μπορείτε να πείτε σίγουρα, μπορούμε σίγουρα να ρέουμε διαβαθμίσεις αυτού του πράγματος.
YL: Σωστά. Έτσι, οι άνθρωποι χρησιμοποιούν αυτήν την απώλεια διασταυρούμενης εντροπίας ή SOFTMAX, έχετε πολλά ονόματα για αυτήν, αλλά είναι το ίδιο πράγμα. Και ουσιαστικά είναι μια ομαλή προσέγγιση του αριθμού των σφαλμάτων που κάνει το σύστημα, όπου η εξομάλυνση γίνεται, βασικά, λαμβάνοντας υπόψη τη βαθμολογία που δίνει το σύστημα σε κάθε μία από τις κατηγορίες.
ZDNet: Υπάρχει κάτι που δεν έχουμε καλύψει και θα θέλατε να καλύψετε;
YL: Μάλλον τονίζει τα κύρια σημεία. Νομίζω ότι τα συστήματα τεχνητής νοημοσύνης πρέπει να είναι σε θέση να συλλογίζονται και η διαδικασία για αυτό που υποστηρίζω είναι η ελαχιστοποίηση κάποιου στόχου σε σχέση με κάποια λανθάνουσα μεταβλητή. Αυτό επιτρέπει στα συστήματα να σχεδιάζουν και να συλλογίζονται. Νομίζω ότι θα πρέπει να εγκαταλείψουμε το πιθανολογικό πλαίσιο γιατί είναι δυσεπίλυτο όταν θέλουμε να κάνουμε πράγματα όπως η καταγραφή εξαρτήσεων μεταξύ υψηλών διαστάσεων, συνεχών μεταβλητών. Και υποστηρίζω την εγκατάλειψη των παραγωγικών μοντέλων επειδή το σύστημα θα πρέπει να αφιερώσει πάρα πολλούς πόρους για να προβλέψει πράγματα που είναι πολύ δύσκολο να προβλεφθούν και ίσως καταναλώνουν πάρα πολλούς πόρους. Και λίγο πολύ αυτό είναι. Αυτά είναι τα κύρια μηνύματα, αν θέλετε. Και μετά η συνολική αρχιτεκτονική. Στη συνέχεια, υπάρχουν αυτές οι εικασίες σχετικά με τη φύση της συνείδησης και τον ρόλο του διαμορφωτή, αλλά αυτό είναι πραγματικά εικασία.
ZDNet: Θα φτάσουμε σε αυτό την επόμενη φορά. Ήθελα να σε ρωτήσω, πώς κάνεις τη συγκριτική αξιολόγηση αυτού του πράγματος; Αλλά υποθέτω ότι είστε λίγο πιο μακριά από τη συγκριτική αξιολόγηση αυτή τη στιγμή;
YL: Όχι απαραίτητα τόσο πολύ σε, κάπως απλοποιημένες εκδόσεις. Μπορείτε να κάνετε ό,τι κάνουν όλοι στην εκμάθηση ελέγχου ή ενίσχυσης, δηλαδή να εκπαιδεύσετε το πράγμα να παίζει παιχνίδια Atari ή κάτι τέτοιο ή κάποιο άλλο παιχνίδι που έχει κάποια αβεβαιότητα.
ZDNet: Ευχαριστώ για τον χρόνο σου, Γιάννη.
English
Arabic
Belarusian
Bengali
Bosnian
Bulgarian
Chinese (Simplified)
Croatian
Czech
Danish
Dutch
English
Estonian
Filipino
Finnish
French
Georgian
German
Greek
Gujarati
Hausa
Hebrew
Hindi
Hmong
Hungarian
Igbo
Indonesian
Italian
Japanese
Javanese
Kazakh
Korean
Kurdish (Kurmanji)
Kyrgyz
Lao
Latvian
Lithuanian
Macedonian
Malagasy
Norwegian
Persian
Polish
Portuguese
Punjabi
Romanian
Russian
Serbian
Slovak
Slovenian
Spanish
Swedish
Thai
Turkish
Ukrainian
Vietnamese
Yoruba