OpenAI ने तंत्रिका जाल को प्रशिक्षित करने के लिए Minecraft गेमर्स के लिए Upwork पर $160,000 खर्च किए

उस IDM की प्रशिक्षित क्षमता का उपयोग वीडियो फ़ुटेज के बहुत बड़े सेट पर किया जाता है, वेब से एकत्रित किए गए बिना लेबल वाले Minecraft फ़ुटेज के कुल 70,000 घंटे। IDM उस बड़े संग्रह पर "छद्म-लेबल" लागू करता है। दूसरे शब्दों में, IDM, और ठेकेदार की फीस, एक विशाल वीडियो प्रशिक्षण सेट को बूटस्ट्रैप करने का एक तरीका है। 

ठेकेदार भुगतान जितना महंगा लग सकता है, दृष्टिकोण एक बड़ी लागत बचत का प्रतिनिधित्व करता है, लेखक लिखते हैं। अगर उन्हें वेब वीडियो के 70,000 घंटों के बराबर ठेकेदार डेटा एकत्र करना होता, तो यह बहुत अधिक महंगा होता।

“अगर हम वेब_क्लीन के समान परिमाण के एक लेबल वाले ठेकेदार डेटासेट को सस्ते में एकत्र कर सकते हैं, तो यह महत्वपूर्ण नहीं होगा; हालाँकि, उस पैमाने के डेटा को इकट्ठा करने में लाखों डॉलर खर्च होंगे।"

70,000 घंटों का उपयोग करते हुए, लेखक वीडियो में उपयोगकर्ता क्रियाओं की नकल करने के लिए एक दूसरे तंत्रिका नेटवर्क को प्रशिक्षित करते हैं, जो ट्रांसफार्मर परतों से बना होता है, एक सामान्य अभ्यास जिसे "व्यवहार क्लोनिंग" के रूप में जाना जाता है।

काम का उद्देश्य एक सामान्य प्रयोजन के कंप्यूटर "एजेंट" को प्रशिक्षित करने का एक तरीका खोजना है जो इंटरनेट पर डेटा के धन का उपयोग कर सकता है जिसमें कार्यों को हल करने के लिए कोई लेबल नहीं है, जिसमें कार्य-कारण, अर्थ और क्रियाओं के अनुक्रम शामिल हैं जिनमें एक है एक से दूसरे के लिए आवश्यक संबंध। 

"इस पेपर में प्रस्तुत परिणाम अनुक्रमिक निर्णय डोमेन के लिए वेब पर बिना लेबल वाले डेटा के धन का उपयोग करने का मार्ग प्रशस्त करते हैं," वे लिखते हैं। 

वे सुझाव देते हैं कि काम का उपयोग कई कंप्यूटर कार्यों के लिए किया जा सकता है, जिसमें माउस क्लिक और अन्य मानव ऑपरेटर नियंत्रणों के अनुक्रम की आवश्यकता होती है। 

"जबकि हम केवल Minecraft में प्रयोग करते हैं, हम मानते हैं कि VPT किसी भी डोमेन में कठिन, फिर भी सामान्य, एक्शन स्पेस में व्यवहारिक पुजारियों को प्रशिक्षण देने के लिए एक सामान्य नुस्खा प्रदान करता है, जिसमें बड़ी मात्रा में स्वतंत्र रूप से उपलब्ध बिना लेबल वाला डेटा होता है, जैसे कि कंप्यूटर का उपयोग।"

ओपन-एआई को जीपीटी -3 नामक बड़े भाषा कार्यक्रम के लिए सबसे अच्छी तरह से जाना जाता है, जो कि लेबल नहीं किए गए वेब डेटा के आधार पर "पूर्व-प्रशिक्षित" दृष्टिकोण का भी उपयोग करता है। एक मायने में, Minecraft गेम वीडियो के माध्यम से कैप्चर किए गए अनुक्रमिक कंप्यूटर कार्यों के क्षेत्र में व्यवहार की नकल करने के लिए उस दृष्टिकोण का विस्तार कर रहा है। 

इसके अलावा: GPT-3 क्या है? OpenAI के सफल AI भाषा कार्यक्रम के बारे में आपके व्यवसाय को जो कुछ जानने की आवश्यकता है वह सब कुछ

अंतिम उपलब्धि कुछ मामलों में मानव के लिए सबसे कठिन कार्यों में से एक को प्राप्त करने के लिए आवश्यक समय से अधिक है, एक हीरा पिकैक्स प्राप्त करना।

Minecraft में, हीरा-आधारित उपकरण अधिक समय तक चलते हैं और अधिक नुकसान कर सकते हैं। डायमंड पिकैक्स केवल वही हैं जो अधिकांश गेमर्स के लिए विशेष रूप से महत्वपूर्ण हैं। आपको माइन ओब्सीडियन के लिए एक हीरे की पिकैक्स और नेथराइट नामक एक काल्पनिक सामग्री की आवश्यकता है, जो दोनों एंडगेम गतिविधियों जैसे करामाती टेबल और नेथराइट उपकरण बनाने के लिए महत्वपूर्ण हैं।

वीपीटी को सभी प्रकार के माइनक्राफ्ट कार्यों को सीखने के लिए प्रशिक्षण देने के बाद, लेखकों ने एक "फाइन-ट्यूनिंग" दृष्टिकोण का उपयोग किया जिसने एक हीरे की पिकैक्स को तेजी से सामान्य समय में फैशन करने के लिए एक सुदृढ़ीकरण सीखने वाले तंत्रिका नेटवर्क को विकसित किया। 

"आरएल फाइन-ट्यूनिंग की प्रभावकारिता का प्रदर्शन करने के लिए, हमने एक ताजा Minecraft अस्तित्व की दुनिया से शुरू होने वाले 10 मिनट के भीतर हीरा पिकैक्स प्राप्त करने का चुनौतीपूर्ण लक्ष्य चुना है," वे लिखते हैं। 

यह मनुष्यों के लिए चुनौतीपूर्ण है, जो आमतौर पर इसे करने में दोगुना समय लेते हैं, यदि वे इसे बिल्कुल भी कर सकते हैं:

ऐसा करने में मुश्किल-से-प्राप्त वस्तुओं का एक क्रम प्राप्त करना शामिल है, जिसमें खनन, इन्वेंट्री प्रबंधन, क्राफ्टिंग टेबल के साथ और बिना क्राफ्टिंग, टूल का उपयोग, भट्ठी का संचालन, और सबसे कम गहराई पर खनन जैसे जटिल कौशल की आवश्यकता होती है, जहां कई खतरे जैसे दुश्मन और लावा मौजूद हैं (चित्र 6)। कठिनाई को बढ़ाते हुए, वस्तुओं को गिराने, वस्तुओं को नष्ट करने या मरने से प्रगति आसानी से खो सकती है। एक कुशल मानव को 20 मिनट (24,000 क्रियाओं) से अधिक समय तक हीरे की पिकैक्स प्राप्त करने में अधिक समय लगता है।

अब लोकप्रिय

पहले वेरिज़ोन सी-बैंड परिणाम दिखाई देते हैं: उत्साहजनक, लेकिन क्या एफएए इसे मार देगा?

ठेकेदार डेटा और बिना लेबल वाले 70,000 घंटे के वेब वीडियो दोनों को इकट्ठा करने में, लेखक आपत्तिजनक सामग्री की संभावना के प्रति सचेत थे। "ठेकेदार सैद्धांतिक रूप से व्यक्तिगत रूप से पहचान योग्य जानकारी और/या आपत्तिजनक सामग्री उत्पन्न करने के लिए Minecraft की खुली दुनिया की संपत्ति का उपयोग कर सकते हैं (उदाहरण के लिए अपना नाम या आपत्तिजनक संदेश लिखने के लिए Minecraft ब्लॉक का उपयोग करके, फिर उस स्थान को ढूंढना जहां से संदेश दिखाई देगा)," वे लिखें, हालांकि उन्होंने लेखकों द्वारा देखे गए ठेकेदारों के वीडियो में यह नहीं देखा। 

"बेशक, हम अपने बीसी [व्यवहार क्लोनिंग] मॉडल को माइनक्राफ्ट खेलने वाले लोगों के इंटरनेट से वीडियो पर प्रशिक्षित करते हैं, और यदि ऐसा व्यवहार उन वीडियो में है तो हमारा मॉडल संभावित रूप से इसे सीख सकता है, हालांकि हम उम्मीद करते हैं कि ऐसा व्यवहार दुर्लभ है कि हमारा मॉडल इसे पुन: पेश करने की संभावना नहीं होगी, ”वे लिखते हैं। 

ऐसा सामान्य एजेंट आगे कहां जाता है? विचार यह है कि हीरे की कुल्हाड़ियों, वीपीटी, या उसके वंश पर विजय प्राप्त करने के बाद, वह सभी प्रकार के काम कर सकता है जो एक व्यक्ति माउस और कीबोर्ड के साथ कर सकता है, जिसमें टिकटों की बू करना, सोशल मीडिया पर सर्फिंग या मानचित्रों को नेविगेट करना शामिल है।