ผู้บุกเบิก AI Cerebras เปิด AI กำเนิดโดยที่ OpenAI มืดมน

โลกของปัญญาประดิษฐ์โดยเฉพาะอย่างยิ่งในมุมของมันที่ได้รับความนิยมอย่างล้นหลามที่เรียกว่า “เจเนอเรทีฟ เอไอ” ซึ่งสร้างงานเขียนและภาพโดยอัตโนมัตินั้นมีความเสี่ยงที่จะปิดขอบฟ้าลง เนื่องจากผลกระทบที่เยือกเย็นของบริษัทที่ตัดสินใจไม่เผยแพร่รายละเอียดของพวกเขา วิจัย. 

แต่การหันไปใช้ความลับอาจทำให้ผู้เข้าร่วมบางคนในโลก AI ก้าวเข้ามาและเติมเต็มช่องว่างของการเปิดเผย

เมื่อวันอังคารที่ผ่านมา Cerebras Systems ผู้บุกเบิก AI ซึ่งเป็นผู้ผลิตคอมพิวเตอร์ AI โดยเฉพาะและชิปคอมพิวเตอร์ที่ใหญ่ที่สุดในโลก เผยแพร่เป็นโอเพ่นซอร์ส โปรแกรม generative AI หลายเวอร์ชันให้ใช้โดยไม่มีข้อจำกัด 

โปรแกรมเหล่านี้ได้รับการ "ฝึกฝน" โดย Cerebras ซึ่งหมายถึงการนำมาซึ่งประสิทธิภาพสูงสุดโดยใช้ซูเปอร์คอมพิวเตอร์อันทรงพลังของบริษัท จึงช่วยลดงานบางอย่างที่นักวิจัยภายนอกต้องทำ 

“บริษัทต่าง ๆ กำลังตัดสินใจต่างไปจากที่พวกเขาทำเมื่อ 4-XNUMX ปีก่อน และเราไม่เห็นด้วยกับการตัดสินใจเหล่านั้น” Andrew Feldman ผู้ร่วมก่อตั้งและซีอีโอของ Cerebras กล่าวในการให้สัมภาษณ์กับ ZDNET โดยพาดพิงถึงการตัดสินใจของ OpenAI ผู้สร้าง ChatGPT ที่จะไม่เผยแพร่รายละเอียดทางเทคนิคเมื่อเปิดเผยโปรแกรมกำเนิด AI ล่าสุดในเดือนนี้ GPT-XNUMX ซึ่งเป็นการเคลื่อนไหวที่ได้รับการวิพากษ์วิจารณ์อย่างกว้างขวางในโลกการวิจัย AI 

นอกจากนี้: ด้วย GPT-4 OpenAI เลือกใช้การปกปิดความลับและการเปิดเผยข้อมูล

“เราเชื่อว่าชุมชนที่เปิดกว้างและมีชีวิตชีวา — ไม่ใช่แค่ของนักวิจัย และไม่ใช่แค่ของผู้ชาย LLM สามหรือสี่หรือห้าหรือแปดคนเท่านั้น แต่เป็นชุมชนที่มีชีวิตชีวาซึ่งสตาร์ทอัพ บริษัทขนาดกลาง และองค์กรต่าง ๆ กำลังฝึกฝนโมเดลภาษาขนาดใหญ่ — คือ ดีต่อเราและดีต่อผู้อื่นด้วย” เฟลด์แมนกล่าว

คำว่าโมเดลภาษาขนาดใหญ่หมายถึงโปรแกรม AI ที่อิงตามหลักการของการเรียนรู้ของเครื่อง ซึ่งโครงข่ายประสาทเทียมจะจับการแจกแจงทางสถิติของคำในข้อมูลตัวอย่าง กระบวนการดังกล่าวทำให้โมเดลภาษาขนาดใหญ่สามารถคาดเดาคำถัดไปตามลำดับได้ ความสามารถนั้นรองรับโปรแกรม AI กำเนิดยอดนิยม เช่น ChatGPT 

แนวทางการเรียนรู้ของเครื่องแบบเดียวกันนั้นเกี่ยวข้องกับ AI เชิงกำเนิดในสาขาอื่นๆ เช่น Dall*E ของ OpenAI ซึ่งสร้างภาพตามวลีที่แนะนำ 

นอกจากนี้: เครื่องสร้างงานศิลปะ AI ที่ดีที่สุด: DALL-E2 และทางเลือกสนุกๆ อื่นๆ ที่น่าลอง

Cerebras โพสต์โมเดลภาษาขนาดใหญ่ 2018 โมเดลที่มีรูปแบบเดียวกับโปรแกรม GPT ของ OpenAI ซึ่งเริ่มเป็นที่นิยมของ AI กำเนิดในปี XNUMX รหัสคือ ที่มีอยู่ในเว็บไซต์ ของสตาร์ทอัพ AI Hugging Face เป็นต้น GitHub.

โปรแกรมมีขนาดแตกต่างกันไป ตั้งแต่ 111 ล้านพารามิเตอร์ หรือน้ำหนักประสาท ไปจนถึงหนึ่งหมื่นสามพันล้าน พารามิเตอร์ที่มากขึ้นทำให้โปรแกรม AI มีประสิทธิภาพมากขึ้น โดยทั่วไปแล้ว เพื่อให้โค้ด Cerebras มีประสิทธิภาพที่หลากหลาย 

บริษัทไม่ได้โพสต์เพียงแค่ซอร์สของโปรแกรมในรูปแบบ Python และ TensorFlow ภายใต้สิทธิ์ใช้งาน Apache 2.0 แบบโอเพ่นซอร์สเท่านั้น แต่ยังมีรายละเอียดของระเบียบการฝึกอบรมซึ่งโปรแกรมต่างๆ ถูกนำไปใช้งานในสถานะที่พัฒนาแล้ว 

การเปิดเผยดังกล่าวช่วยให้นักวิจัยสามารถตรวจสอบและทำซ้ำการทำงานของ Cerebras ได้ 

Feldman กล่าวว่าการเปิดตัว Cerebras เป็นครั้งแรกที่มีการเผยแพร่โปรแกรมรูปแบบ GPT สู่สาธารณะ "โดยใช้เทคนิคการฝึกอบรมที่มีประสิทธิภาพล้ำสมัย"

งานฝึกอบรม AI อื่น ๆ ที่เผยแพร่ได้ปกปิดข้อมูลทางเทคนิค เช่น GPT-4 ของ OpenAI หรือโปรแกรมไม่ได้รับการเพิ่มประสิทธิภาพในการพัฒนา หมายความว่าข้อมูลที่ส่งไปยังโปรแกรมไม่ได้ถูกปรับขนาดตามขนาดของโปรแกรม ตามที่อธิบายไว้ในบล็อกโพสต์ทางเทคนิคของ Cerebras 

แบบจำลองภาษาขนาดใหญ่ดังกล่าวมีชื่อเสียงในด้านการคำนวณมาก งานของ Cerebras ที่เผยแพร่เมื่อวันอังคารได้รับการพัฒนาบนคลัสเตอร์คอมพิวเตอร์ CS-2 จำนวน XNUMX เครื่อง ซึ่งเป็นคอมพิวเตอร์ที่มีขนาดเท่ากับตู้เย็นในหอพักซึ่งได้รับการปรับแต่งเป็นพิเศษสำหรับโปรแกรมรูปแบบ AI คลัสเตอร์ที่บริษัทเปิดเผยก่อนหน้านี้เรียกว่าซูเปอร์คอมพิวเตอร์ Andromeda ซึ่งสามารถตัดการทำงานในการฝึกอบรม LLM บนชิป GPU ของ Nvidia ได้อย่างมาก

นอกจากนี้: ความสำเร็จของ ChatGPT อาจทำให้ความลับใน AI เสียหายได้ Bengio ผู้บุกเบิก AI กล่าว

ในส่วนหนึ่งของการเปิดตัวเมื่อวันอังคาร Cerebras ได้เสนอสิ่งที่กล่าวว่าเป็นกฎมาตราส่วนแบบโอเพ่นซอร์สข้อแรก ซึ่งเป็นกฎมาตรฐานสำหรับความแม่นยำของโปรแกรมดังกล่าวที่เพิ่มขึ้นตามขนาดของโปรแกรมตามข้อมูลโอเพ่นซอร์ส ชุดข้อมูลที่ใช้เป็นโอเพ่นซอร์ส เสาเข็มคอลเลคชันข้อความขนาด 825 กิกะไบต์ ซึ่งส่วนใหญ่เป็นข้อความเกี่ยวกับวิชาชีพและวิชาการ เปิดตัวในปี 2020 โดยแล็บที่ไม่แสวงหาผลกำไร เอลิวเธอร์.   

กฎหมายมาตราส่วนก่อนหน้านี้จาก OpenAI และ DeepMind ของ Google ใช้ข้อมูลการฝึกอบรมที่ไม่ใช่โอเพนซอร์ส 

ในอดีต Cerebras ได้สร้างข้อได้เปรียบด้านประสิทธิภาพของระบบต่างๆ Feldman กล่าวว่าความสามารถในการฝึกอบรมโปรแกรมภาษาธรรมชาติที่มีความต้องการอย่างมีประสิทธิภาพนั้นถือเป็นหัวใจสำคัญของปัญหาของการเผยแพร่แบบเปิด

“หากคุณบรรลุประสิทธิภาพได้ คุณก็สามารถที่จะใส่สิ่งต่างๆ ในชุมชนโอเพ่นซอร์สได้” เฟลด์แมนกล่าว “ประสิทธิภาพช่วยให้เราทำสิ่งนี้ได้อย่างรวดเร็วและง่ายดาย และเพื่อแบ่งปันให้กับชุมชน”

เหตุผลหลักที่ OpenAI และบริษัทอื่นๆ กำลังเริ่มปิดการทำงานของพวกเขาไปยังส่วนอื่นๆ ของโลก เป็นเพราะพวกเขาต้องปกป้องแหล่งที่มาของผลกำไร ท่ามกลางต้นทุนที่เพิ่มขึ้นของ AI ในการฝึกอบรม เขากล่าว 

นอกจากนี้: GPT-4: ความสามารถใหม่สำหรับการให้คำแนะนำที่ผิดกฎหมายและการแสดง 'พฤติกรรมฉุกเฉินที่มีความเสี่ยง'

“มันแพงมาก พวกเขาตัดสินใจว่ามันเป็นสินทรัพย์เชิงกลยุทธ์ และพวกเขาตัดสินใจที่จะยึดมันไว้จากชุมชนเพราะมันเป็นกลยุทธ์สำหรับพวกเขา” เขากล่าว “และฉันคิดว่านั่นเป็นกลยุทธ์ที่สมเหตุสมผลมาก 

“เป็นกลยุทธ์ที่สมเหตุสมผล หากบริษัทต้องการลงทุนเวลา ความพยายาม และเงินจำนวนมาก และไม่แบ่งปันผลลัพธ์กับส่วนที่เหลือของโลก” เฟลด์แมนกล่าวเสริม 

อย่างไรก็ตาม "เราคิดว่านั่นทำให้ระบบนิเวศน่าสนใจน้อยลง และในระยะยาว มันจะจำกัดกระแสที่เพิ่มสูงขึ้น" ของการวิจัย เขากล่าว

บริษัทต่างๆ สามารถ "กักตุน" ทรัพยากร เช่น ชุดข้อมูล หรือแบบจำลองความเชี่ยวชาญได้โดยการกักตุนไว้ เฟลด์แมนตั้งข้อสังเกต

นอกจากนี้: Cerebras ผู้ท้าชิง AI ประกอบซูเปอร์คอมพิวเตอร์แบบโมดูลาร์ 'Andromeda' เพื่อเพิ่มความเร็วให้กับโมเดลภาษาขนาดใหญ่

“คำถามคือทรัพยากรเหล่านี้ถูกใช้อย่างมีกลยุทธ์อย่างไรในภูมิประเทศ” เขากล่าว “เราเชื่อว่าเราสามารถช่วยได้โดยการเสนอแบบจำลองที่เปิดอยู่ โดยใช้ข้อมูลที่ทุกคนสามารถเห็นได้” 

เมื่อถูกถามว่าผลิตภัณฑ์ใดที่อาจมาจากการเปิดตัวแบบโอเพนซอร์ส Feldman กล่าวว่า "สถาบันที่แตกต่างกันหลายร้อยแห่งอาจทำงานร่วมกับโมเดล GPT เหล่านี้ที่มิฉะนั้นอาจไม่สามารถทำได้ และแก้ปัญหาที่อาจถูกละทิ้งไป"