Ο πρωτοπόρος της τεχνητής νοημοσύνης Cerebras ανοίγει τη γενετική τεχνητή νοημοσύνη όπου το OpenAI σκοτεινιάζει

Ο κόσμος της τεχνητής νοημοσύνης, ειδικά η γωνιά της που είναι εξαιρετικά δημοφιλής, γνωστή ως «γεννητική τεχνητή νοημοσύνη» - η δημιουργία γραφής και εικόνων αυτόματα - κινδυνεύει να κλείσει τους ορίζοντές του λόγω της ανατριχιαστικής επίδρασης των εταιρειών που αποφασίζουν να μην δημοσιεύσουν τις λεπτομέρειες των έρευνα. 

Αλλά η στροφή προς τη μυστικότητα μπορεί να ώθησε ορισμένους συμμετέχοντες στον κόσμο της τεχνητής νοημοσύνης να παρέμβουν και να καλύψουν το κενό της αποκάλυψης.

Την Τρίτη, η πρωτοπόρος στην τεχνητή νοημοσύνη Cerebras Systems, κατασκευαστής ενός αποκλειστικού υπολογιστή τεχνητής νοημοσύνης και του μεγαλύτερου τσιπ υπολογιστή στον κόσμο, δημοσιεύεται ως ανοιχτού κώδικα πολλές εκδόσεις παραγωγικών προγραμμάτων AI για χρήση χωρίς περιορισμό. 

Τα προγράμματα "εκπαιδεύονται" από την Cerebras, που σημαίνει ότι επιτυγχάνονται βέλτιστες επιδόσεις χρησιμοποιώντας τον ισχυρό υπερυπολογιστή της εταιρείας, μειώνοντας έτσι μέρος της εργασίας που πρέπει να κάνουν οι εξωτερικοί ερευνητές. 

«Οι εταιρείες παίρνουν διαφορετικές αποφάσεις από ό,τι έλαβαν πριν από ένα ή δύο χρόνια και εμείς διαφωνούμε με αυτές τις αποφάσεις», δήλωσε ο συνιδρυτής και διευθύνων σύμβουλος της Cerebras, Andrew Feldman, σε συνέντευξή του στο ZDNET, αναφερόμενος στην απόφαση του OpenAI, του δημιουργού του ChatGPT. να μην δημοσιεύει τεχνικές λεπτομέρειες όταν αποκάλυψε το τελευταίο της πρόγραμμα παραγωγής τεχνητής νοημοσύνης αυτόν τον μήνα, το GPT-4, μια κίνηση που επικρίθηκε ευρέως στον ερευνητικό κόσμο της τεχνητής νοημοσύνης. 

Επίσης: Με το GPT-4, το OpenAI επιλέγει τη μυστικότητα έναντι της αποκάλυψης

«Πιστεύουμε ότι μια ανοιχτή, ζωντανή κοινότητα - όχι μόνο ερευνητών, και όχι μόνο τριών ή τεσσάρων ή πέντε ή οκτώ μαθητών LLM, αλλά μια ζωντανή κοινότητα στην οποία νεοφυείς επιχειρήσεις, εταιρείες μεσαίου μεγέθους και επιχειρήσεις εκπαιδεύουν μεγάλα γλωσσικά μοντέλα - είναι καλό για εμάς και είναι καλό για τους άλλους», είπε ο Feldman.

Ο όρος μοντέλο μεγάλης γλώσσας αναφέρεται σε προγράμματα τεχνητής νοημοσύνης που βασίζονται σε αρχές μηχανικής μάθησης στα οποία ένα νευρωνικό δίκτυο καταγράφει τη στατιστική κατανομή των λέξεων σε δείγματα δεδομένων. Αυτή η διαδικασία επιτρέπει σε ένα μεγάλο γλωσσικό μοντέλο να προβλέψει την επόμενη λέξη στη σειρά. Αυτή η ικανότητα βασίζεται σε δημοφιλή προγράμματα παραγωγής τεχνητής νοημοσύνης όπως το ChatGPT. 

Το ίδιο είδος προσέγγισης μηχανικής μάθησης αφορά τη γενετική τεχνητή νοημοσύνη σε άλλα πεδία, όπως το Dall*E του OpenAI, το οποίο δημιουργεί εικόνες με βάση μια προτεινόμενη φράση. 

Επίσης: Οι καλύτερες γεννήτριες τέχνης AI: DALL-E2 και άλλες διασκεδαστικές εναλλακτικές που μπορείτε να δοκιμάσετε

Η Cerebras δημοσίευσε επτά μεγάλα μοντέλα γλώσσας που είναι στο ίδιο στυλ με το πρόγραμμα GPT του OpenAI, το οποίο ξεκίνησε τη γενεσιουργή τρέλα AI το 2018. Ο κώδικας είναι διαθέσιμο στον ιστότοπο της startup AI Hugging Face και συνεχίζει GitHub.

Τα προγράμματα ποικίλλουν σε μέγεθος, από 111 εκατομμύρια παραμέτρους, ή νευρωνικά βάρη, έως δεκατρία δισεκατομμύρια. Περισσότερες παράμετροι κάνουν ένα πρόγραμμα τεχνητής νοημοσύνης πιο ισχυρό, σε γενικές γραμμές, έτσι ώστε ο κώδικας Cerebras να προσφέρει μια σειρά επιδόσεων. 

Η εταιρεία δημοσίευσε όχι μόνο την πηγή των προγραμμάτων, σε μορφή Python και TensorFlow, υπό την άδεια ανοιχτού κώδικα Apache 2.0, αλλά και τις λεπτομέρειες του προγράμματος εκπαίδευσης με το οποίο τα προγράμματα έφεραν σε ανεπτυγμένη κατάσταση λειτουργικότητας. 

Αυτή η αποκάλυψη επιτρέπει στους ερευνητές να εξετάσουν και να αναπαράγουν το έργο του Cerebras. 

Η κυκλοφορία του Cerebras, είπε ο Feldman, είναι η πρώτη φορά που ένα πρόγραμμα τύπου GPT δημοσιοποιείται «χρησιμοποιώντας σύγχρονες τεχνικές αποτελεσματικότητας εκπαίδευσης».

Άλλες δημοσιευμένες εργασίες εκπαίδευσης τεχνητής νοημοσύνης είτε απέκρυψαν τεχνικά δεδομένα, όπως το GPT-4 του OpenAI, είτε τα προγράμματα δεν έχουν βελτιστοποιηθεί στην ανάπτυξή τους, που σημαίνει ότι τα δεδομένα που τροφοδοτούνται στο πρόγραμμα δεν έχουν προσαρμοστεί στο μέγεθος του προγράμματος, όπως εξηγείται σε μια ανάρτηση τεχνικού ιστολογίου της Cerebras. 

Τέτοια μεγάλα γλωσσικά μοντέλα είναι διαβόητα εντάσεως υπολογιστών. Το έργο του Cerebras που κυκλοφόρησε την Τρίτη αναπτύχθηκε σε ένα σύμπλεγμα δεκαέξι από τους υπολογιστές του CS-2, υπολογιστές μεγέθους ψυγείων κοιτώνων που είναι ρυθμισμένοι ειδικά για προγράμματα τύπου AI. Το σύμπλεγμα, που αποκαλύφθηκε προηγουμένως από την εταιρεία, είναι γνωστό ως υπερυπολογιστής Andromeda, ο οποίος μπορεί να περικόψει δραματικά την εργασία για την εκπαίδευση LLM σε χιλιάδες τσιπ GPU της Nvidia.

Επίσης: Η επιτυχία του ChatGPT θα μπορούσε να προκαλέσει μια επιζήμια στροφή στη μυστικότητα στην τεχνητή νοημοσύνη, λέει ο πρωτοπόρος της τεχνητής νοημοσύνης Bengio

Ως μέρος της κυκλοφορίας της Τρίτης, η Cerebras προσέφερε, όπως είπε, τον πρώτο νόμο κλιμάκωσης ανοιχτού κώδικα, έναν κανόνα αναφοράς για το πώς η ακρίβεια τέτοιων προγραμμάτων αυξάνεται με το μέγεθος των προγραμμάτων που βασίζονται σε δεδομένα ανοιχτού κώδικα. Το σύνολο δεδομένων που χρησιμοποιείται είναι ανοιχτού κώδικα Ο σωρός, μια συλλογή 825 gigabyte κειμένων, κυρίως επαγγελματικών και ακαδημαϊκών κειμένων, που παρουσιάστηκε το 2020 από μη κερδοσκοπικό εργαστήριο Ελεύθερ.   

Οι προηγούμενοι νόμοι κλιμάκωσης από το OpenAI και το DeepMind της Google χρησιμοποιούσαν δεδομένα εκπαίδευσης που δεν ήταν ανοιχτού κώδικα. 

Η Cerebras έχει υποστηρίξει στο παρελθόν τα πλεονεκτήματα απόδοσης των συστημάτων της. Η ικανότητα αποτελεσματικής εκπαίδευσης των απαιτητικών προγραμμάτων φυσικής γλώσσας βρίσκεται στο επίκεντρο των θεμάτων της ανοιχτής έκδοσης, είπε ο Feldman.

"Εάν μπορείτε να επιτύχετε αποτελεσματικότητα, μπορείτε να αντέξετε οικονομικά να τοποθετήσετε πράγματα στην κοινότητα ανοιχτού κώδικα", είπε ο Feldman. «Η αποτελεσματικότητα μας δίνει τη δυνατότητα να το κάνουμε αυτό γρήγορα και εύκολα και να κάνουμε το μερίδιό μας για την κοινότητα».

Ένας βασικός λόγος που το OpenAI και άλλοι αρχίζουν να κλείνουν τη δουλειά τους στον υπόλοιπο κόσμο είναι επειδή πρέπει να προστατεύουν την πηγή κέρδους ενόψει του αυξανόμενου κόστους εκπαίδευσης της τεχνητής νοημοσύνης, είπε. 

Επίσης: GPT-4: Μια νέα ικανότητα παροχής παράνομων συμβουλών και εμφάνισης «επικίνδυνων έκτακτων συμπεριφορών»

"Είναι τόσο ακριβό, αποφάσισαν ότι είναι ένα στρατηγικό πλεονέκτημα και αποφάσισαν να το παρακρατήσουν από την κοινότητα επειδή είναι στρατηγικό για αυτούς", είπε. «Και νομίζω ότι αυτή είναι μια πολύ λογική στρατηγική. 

«Είναι μια λογική στρατηγική εάν μια εταιρεία επιθυμεί να επενδύσει πολύ χρόνο και προσπάθεια και χρήματα και να μην μοιραστεί τα αποτελέσματα με τον υπόλοιπο κόσμο», πρόσθεσε ο Feldman. 

Ωστόσο, «Πιστεύουμε ότι αυτό δημιουργεί ένα λιγότερο ενδιαφέρον οικοσύστημα και, μακροπρόθεσμα, περιορίζει την αυξανόμενη παλίρροια» της έρευνας, είπε.

Οι εταιρείες μπορούν να «συσσωρεύουν» πόρους, όπως σύνολα δεδομένων ή τεχνογνωσία μοντέλων, συσσωρεύοντάς τους, παρατήρησε ο Feldman.

Επίσης: Ο αμφισβητίας τεχνητής νοημοσύνης Cerebras συναρμολογεί τον αρθρωτό υπερυπολογιστή «Andromeda» για να επιταχύνει τα μοντέλα μεγάλων γλωσσών

«Το ερώτημα είναι πώς αυτοί οι πόροι χρησιμοποιούνται στρατηγικά στο τοπίο», είπε. «Πιστεύουμε ότι μπορούμε να βοηθήσουμε παρουσιάζοντας μοντέλα που είναι ανοιχτά, χρησιμοποιώντας δεδομένα που μπορούν να δουν όλοι». 

Ερωτηθείς ποιο μπορεί να είναι το προϊόν της έκδοσης ανοιχτού κώδικα, ο Feldman παρατήρησε: «Εκατοντάδες διαφορετικά ιδρύματα μπορεί να λειτουργήσουν με αυτά τα μοντέλα GPT που διαφορετικά δεν θα μπορούσαν να το κάνουν και να λύσουν προβλήματα που διαφορετικά θα είχαν παραμεριστεί».