أنفقت شركة OpenAI 160,000 ألف دولار على Upwork للاعبين في Minecraft لتدريب شبكة عصبية

يتم بعد ذلك استخدام قدرة IDM المدربة على مجموعة أكبر بكثير من لقطات الفيديو ، أي ما مجموعه 70,000 ساعة من لقطات Minecraft غير المسماة التي تم جمعها من الويب. يطبق IDM "ملصقات زائفة" على تلك المجموعة الأكبر بشكل كبير. بعبارة أخرى ، فإن IDM ورسوم المقاول هي وسيلة لتمهيد مجموعة تدريب فيديو ضخمة. 

على الرغم من أن مدفوعات المقاول قد تبدو باهظة الثمن ، فإن هذا النهج يمثل توفيرًا كبيرًا في التكلفة ، كما كتب المؤلفون. إذا كان عليهم جمع بيانات مقاول تعادل 70,000 ساعة من مقاطع الفيديو على الويب ، فسيكون ذلك أكثر تكلفة بكثير.

"إذا تمكنا من جمع مجموعة بيانات مقاول مصنفة بترتيب مماثل من حيث الحجم مثل web_clean بتكلفة زهيدة ، فلن يكون هذا مهمًا ؛ ومع ذلك ، فإن جمع هذا الحجم من البيانات كان سيكلف ملايين الدولارات ".

باستخدام 70,000 ساعة ، قام المؤلفون بعد ذلك بتدريب شبكة عصبية ثانية ، تتكون أيضًا من طبقات المحولات ، لتقليد إجراءات المستخدم في مقاطع الفيديو ، وهي ممارسة شائعة تُعرف باسم "الاستنساخ السلوكي".

الهدف من العمل هو إيجاد طريقة لتدريب "وكيل" كمبيوتر للأغراض العامة يمكنه استخدام ثروة البيانات الموجودة على الإنترنت والتي لا تحتوي على تسميات لحل المهام التي تتضمن السببية والمعنى وتسلسل الإجراءات التي لها العلاقة الضرورية من واحد إلى آخر. 

وكتبوا: "تساعد النتائج المقدمة في هذه الورقة على تمهيد الطريق للاستفادة من ثروة البيانات غير المسماة على الويب في مجالات القرار المتسلسلة". 

يقترحون أنه يمكن استخدام العمل في العديد من مهام الكمبيوتر التي تتطلب تسلسل نقرات الماوس وغيرها من عناصر تحكم المشغل البشري. 

"بينما نجرب في Minecraft فقط ، نعتقد أن VPT يوفر وصفة عامة لتدريب السابقات السلوكية في مساحات العمل الصعبة ، ولكن العامة ، في أي مجال يحتوي على قدر كبير من البيانات غير المصنفة المتاحة مجانًا ، مثل استخدام الكمبيوتر."

تشتهر Open-AI ببرنامج اللغات الكبير المسمى GPT-3 ، والذي يستخدم أيضًا نهجًا "مدربًا مسبقًا" يعتمد على عدد كبير من بيانات الويب التي لم يتم تصنيفها. بمعنى ما ، تعمل لعبة Minecraft على توسيع هذا النهج لتقليد السلوك في مجال مهام الكمبيوتر المتسلسلة التي يتم التقاطها عبر الفيديو. 

أيضًا: ما هو GPT-3؟ كل ما يحتاج عملك لمعرفته حول برنامج لغة الذكاء الاصطناعي الخارق لـ OpenAI

يتمثل الإنجاز النهائي في بعض الحالات في تجاوز الوقت المطلوب للإنسان لتحقيق إحدى أصعب المهام ، وهو الحصول على معول ماسي.

في Minecraft ، تدوم الأدوات القائمة على الألماس لفترة أطول ويمكن أن تسبب المزيد من الضرر. الفؤوس الماسية هي الوحيدة التي تعتبر مهمة بشكل خاص لمعظم اللاعبين. أنت بحاجة إلى معول ماسي لتعدين حجر السج ومادة خيالية تسمى netherite ، وكلاهما مهم لأنشطة نهاية اللعبة مثل الطاولات الساحرة وصنع المعدات السفلية.

بعد تدريب VPT على تعلم جميع أنواع مهام Minecraft ، استخدم المؤلفون نهج "الضبط الدقيق" الذي طور شبكة عصبية لتعلم التعزيز لتصميم معول ماسي في وقت أسرع من المعتاد. 

كتبوا: "لإثبات فعالية الضبط الدقيق لـ RL ، اخترنا الهدف الصعب المتمثل في الحصول على معول ماسي في غضون 10 دقائق بدءًا من عالم Minecraft الجديد للبقاء على قيد الحياة". 

هذا يمثل تحديًا للبشر ، الذين عادة ما يستغرقون ضعف الوقت للقيام بذلك ، إذا كان بإمكانهم القيام بذلك على الإطلاق:

يتضمن القيام بذلك الحصول على سلسلة من العناصر التي يصعب الحصول عليها والتي تتطلب مهارات معقدة مثل التعدين وإدارة المخزون والصياغة مع وبدون طاولة التصنيع واستخدام الأدوات وتشغيل الفرن والتعدين في أدنى الأعماق ، حيث توجد العديد من المخاطر مثل الأعداء والحمم البركانية موجودة (الشكل 6). إضافة إلى الصعوبة ، يمكن فقدان التقدم بسهولة عن طريق إسقاط العناصر أو تدميرها أو الموت. يستغرق الحصول على فأس ماسي في كثير من الأحيان شخصًا ماهرًا أكثر من 20 دقيقة (24,000 إجراء).

شعبية الآن

تظهر نتائج Verizon C-Band الأولى: مشجعة ، لكن هل ستقتلها إدارة الطيران الفيدرالية؟

عند تجميع كل من بيانات المقاول و 70,000 ساعة من فيديو الويب غير المسماة ، كان المؤلفون على دراية باحتمالية المحتوى المسيء. "يمكن للمقاولين نظريًا استخدام خاصية العالم المفتوح في Minecraft لإنشاء معلومات تعريف شخصية و / أو محتوى مسيء (على سبيل المثال باستخدام كتل Minecraft لكتابة أسمائهم أو الرسائل المسيئة ، ثم العثور على مكان تكون الرسالة مرئية منه) ،" يكتبون ، على الرغم من أنهم لم يروا ذلك في مقاطع الفيديو من المقاولين الذين شاهدهم المؤلفون. 

"بالطبع ، نقوم بتدريب نماذج BC [الاستنساخ السلوكي] على مقاطع فيديو من الإنترنت للأشخاص الذين يلعبون لعبة Minecraft ، وإذا كان هذا السلوك موجودًا في مقاطع الفيديو هذه ، فمن المحتمل أن يتعلم نموذجنا ذلك أيضًا ، على الرغم من أننا نتوقع أن يكون مثل هذا السلوك نادرًا بما يكفي ليس من المرجح أن يعيد إنتاجه "، كتبوا. 

إلى أين يذهب هذا الوكيل العام بعد ذلك؟ الفكرة هي أنه بعد غزو المحاور الماسية ، VPT ، أو نسلها ، يمكن أن يفعل كل أنواع الأشياء التي قد يفعلها الشخص بالماوس ولوحة المفاتيح ، بما في ذلك إطلاق صيحات الاستهجان ، أو تصفح وسائل التواصل الاجتماعي ، أو التنقل في الخرائط.