Το OpenAI ξόδεψε 160,000 $ στο Upwork για παίκτες του Minecraft για να εκπαιδεύσουν ένα νευρωνικό δίκτυο

Αυτή η εκπαιδευμένη ικανότητα του IDM χρησιμοποιείται στη συνέχεια σε ένα πολύ μεγαλύτερο σύνολο βίντεο, συνολικά 70,000 ώρες πλάνα χωρίς ετικέτα Minecraft που συγκεντρώθηκαν από τον Ιστό. Το IDM εφαρμόζει «ψευδοετικέτες» σε αυτήν την πολύ μεγαλύτερη συλλογή. Με άλλα λόγια, το IDM και οι αμοιβές του εργολάβου, είναι ένας τρόπος για να εκκινήσετε ένα τεράστιο σετ εκπαίδευσης βίντεο. 

Όσο ακριβή και αν φαίνεται η πληρωμή του εργολάβου, η προσέγγιση αντιπροσωπεύει μεγάλη εξοικονόμηση κόστους, γράφουν οι συγγραφείς. Αν έπρεπε να συλλέξουν δεδομένα εργολάβων ισοδύναμα με τις 70,000 ώρες βίντεο Ιστού, θα ήταν πολύ πιο ακριβό.

«Αν μπορούσαμε να συλλέξουμε φτηνά ένα ονομασμένο σύνολο δεδομένων εργολάβου παρόμοιας τάξης μεγέθους με το web_clean, τότε αυτό δεν θα ήταν σημαντικό. Ωστόσο, η συλλογή αυτής της κλίμακας δεδομένων θα κόστιζε εκατομμύρια δολάρια».

Χρησιμοποιώντας τις 70,000 ώρες, οι συγγραφείς εκπαιδεύουν στη συνέχεια ένα δεύτερο νευρωνικό δίκτυο, που αποτελείται επίσης από επίπεδα Transformer, για να μιμείται τις ενέργειες των χρηστών στα βίντεο, μια κοινή πρακτική γνωστή ως «συμπεριφορική κλωνοποίηση».

Το θέμα της εργασίας είναι να βρεθεί ένας τρόπος να εκπαιδεύσει έναν «πράκτορα» υπολογιστή γενικού σκοπού που μπορεί να χρησιμοποιήσει τον πλούτο των δεδομένων στο Διαδίκτυο που δεν έχει ετικέτες για να λύσει εργασίες που περιλαμβάνουν αιτιότητα, νόημα και ακολουθίες ενεργειών που έχουν απαραίτητη σχέση από το ένα στο άλλο. 

«Τα αποτελέσματα που παρουσιάζονται σε αυτό το έγγραφο βοηθούν να ανοίξει ο δρόμος για τη χρήση του πλούτου των δεδομένων χωρίς ετικέτα στον Ιστό για διαδοχικούς τομείς αποφάσεων», γράφουν. 

Το έργο μπορεί να χρησιμοποιηθεί για πολλές εργασίες υπολογιστή που απαιτούν ακολουθίες κλικ του ποντικιού και άλλα χειριστήρια από τον άνθρωπο, προτείνουν. 

«Ενώ πειραματιζόμαστε μόνο στο Minecraft, πιστεύουμε ότι το VPT παρέχει μια γενική συνταγή για την εκπαίδευση των προτεραιοτήτων συμπεριφοράς σε σκληρούς, αλλά γενικούς χώρους δράσης σε οποιονδήποτε τομέα που έχει μεγάλο αριθμό ελεύθερα διαθέσιμων δεδομένων χωρίς ετικέτα, όπως η χρήση υπολογιστή».

Το Open-AI είναι περισσότερο γνωστό για το μεγάλο γλωσσικό πρόγραμμα που ονομάζεται GPT-3, το οποίο χρησιμοποιεί επίσης μια «προεκπαιδευμένη» προσέγγιση που βασίζεται σε τόνους δεδομένων Ιστού που δεν φέρουν ετικέτα. Κατά μία έννοια, το παιχνίδι Minecraft επεκτείνει αυτή την προσέγγιση στη μίμηση της συμπεριφοράς στον τομέα των διαδοχικών εργασιών υπολογιστή που καταγράφονται μέσω βίντεο. 

Επίσης: Τι είναι το GPT-3; Όλα όσα χρειάζεται να γνωρίζει η επιχείρησή σας για το πρωτοποριακό πρόγραμμα γλώσσας AI του OpenAI

Το απόλυτο επίτευγμα είναι να υπερβεί σε ορισμένες περιπτώσεις τον χρόνο που απαιτείται για έναν άνθρωπο για να επιτύχει ένα από τα πιο δύσκολα καθήκοντα, την απόκτηση μιας διαμαντένιας αξίνας.

Στο Minecraft, τα εργαλεία που βασίζονται σε διαμάντια διαρκούν περισσότερο και μπορούν να προκαλέσουν μεγαλύτερη ζημιά. Οι αξίνες διαμαντιών είναι οι μόνες που είναι ιδιαίτερα σημαντικές για τους περισσότερους παίκτες. Χρειάζεστε μια διαμαντένια αξίνα για να εξορύξετε οψιανό και ένα φανταστικό υλικό που ονομάζεται νεθερίτης, που είναι και τα δύο σημαντικά για δραστηριότητες στο τέλος του παιχνιδιού, όπως τα μαγευτικά τραπέζια και η κατασκευή εξοπλισμού νεθερίτη.

Μετά την εκπαίδευση του VPT για την εκμάθηση όλων των ειδών εργασιών Minecraft, οι συγγραφείς χρησιμοποίησαν μια προσέγγιση «λεπτής ρύθμισης» που ανέπτυξε ένα νευρωνικό δίκτυο ενίσχυσης εκμάθησης για να φτιάξει μια διαμαντένια αξίνα σε ταχύτερο χρόνο από τον κανονικό. 

«Για να δείξουμε την αποτελεσματικότητα της λεπτομέρειας RL, επιλέξαμε τον απαιτητικό στόχο να αποκτήσουμε μια αξίνα διαμαντιού μέσα σε 10 λεπτά ξεκινώντας από έναν νέο κόσμο επιβίωσης του Minecraft», γράφουν. 

Αυτό είναι δύσκολο για τους ανθρώπους, οι οποίοι συνήθως χρειάζονται διπλάσιο χρόνο για να το κάνουν, αν μπορούν να το κάνουν καθόλου:

Αυτό περιλαμβάνει την απόκτηση μιας σειράς δύσκολων αντικειμένων που απαιτούν σύνθετες δεξιότητες όπως εξόρυξη, διαχείριση αποθέματος, χειροτεχνία με και χωρίς τραπέζι χειροτεχνίας, χρήση εργαλείων, λειτουργία φούρνου και εξόρυξη στα χαμηλότερα βάθη, όπου υπάρχουν πολλοί κίνδυνοι όπως εχθροί και λάβα υπάρχει (Εικ. 6). Επιπρόσθετα στη δυσκολία, η πρόοδος μπορεί εύκολα να χαθεί με την πτώση αντικειμένων, την καταστροφή αντικειμένων ή τον θάνατο. Η απόκτηση μιας διαμαντένιας αξίνας πιο συχνά απαιτεί έναν ικανό άνθρωπο πάνω από 20 λεπτά (24,000 ενέργειες).

Δημοφιλή τώρα

Εμφανίζονται τα πρώτα αποτελέσματα της Verizon C-Band: Ενθαρρυντικά, αλλά θα το σκοτώσει η FAA;

Κατά τη συγκέντρωση τόσο των δεδομένων του εργολάβου όσο και των 70,000 ωρών βίντεο Ιστού χωρίς ετικέτα, οι συγγραφείς είχαν υπόψη τους την προοπτική προσβλητικού περιεχομένου. «Οι ανάδοχοι θα μπορούσαν θεωρητικά να χρησιμοποιήσουν την ιδιοκτησία ανοιχτού κόσμου του Minecraft για να δημιουργήσουν προσωπικά αναγνωρίσιμες πληροφορίες ή/και προσβλητικό περιεχόμενο (π.χ. χρησιμοποιώντας μπλοκ Minecraft για να γράψουν το όνομά τους ή προσβλητικά μηνύματά τους και στη συνέχεια να βρουν ένα σημείο από το οποίο θα ήταν ορατό το μήνυμα)». γράφουν, αν και δεν το είδαν αυτό στα βίντεο από εργολάβους που παρακολούθησαν οι συγγραφείς. 

«Φυσικά, εκπαιδεύουμε τα μοντέλα μας BC [συμπεριφορικής κλωνοποίησης] σε βίντεο από το Διαδίκτυο ατόμων που παίζουν Minecraft, και αν υπάρχει τέτοια συμπεριφορά σε αυτά τα βίντεο, το μοντέλο μας θα μπορούσε επίσης να το μάθει, αν και αναμένουμε ότι τέτοια συμπεριφορά είναι αρκετά σπάνια ώστε το μοντέλο μας δεν θα ήταν πιθανό να το αναπαράγουν», γράφουν. 

Πού πάει μετά ένας τέτοιος γενικός πράκτορας; Η ιδέα είναι ότι έχοντας κατακτήσει τους άξονες με διαμάντια, το VPT ή τους απογόνους του, μπορεί να κάνει όλα τα είδη των πραγμάτων που μπορεί να κάνει ένα άτομο με το ποντίκι και το πληκτρολόγιο, συμπεριλαμβανομένης της αποδοκιμασίας εισιτηρίων, της πλοήγησης στα μέσα κοινωνικής δικτύωσης ή της πλοήγησης σε χάρτες.