'Gato' ຂອງ DeepMind ແມ່ນປານກາງ, ດັ່ງນັ້ນເປັນຫຍັງພວກເຂົາຈຶ່ງສ້າງມັນ?

ໂລກໄດ້ຖືກນໍາໃຊ້ເພື່ອເຫັນຫົວຂໍ້ຂ່າວກ່ຽວກັບຄວາມກ້າວຫນ້າຫລ້າສຸດໂດຍຮູບແບບການຮຽນຮູ້ເລິກຂອງປັນຍາປະດິດ. ຜົນສໍາເລັດຫລ້າສຸດຂອງພະແນກ DeepMind ຂອງ Google, ຢ່າງໃດກໍຕາມ, ອາດຈະສະຫຼຸບໄດ້ວ່າ, "ໂຄງການ AI ຫນຶ່ງທີ່ເຮັດວຽກຫຼາຍດັ່ງນັ້ນ." 

Gato, ເປັນໂຄງການ DeepMind ເອີ້ນວ່າ, ໄດ້ຖືກເປີດເຜີຍໃນອາທິດນີ້ ເປັນອັນທີ່ເອີ້ນວ່າໂຄງການ multimodal, ຫນຶ່ງທີ່ສາມາດຫຼິ້ນເກມວິດີໂອ, ສົນທະນາ, ຂຽນອົງປະກອບ, ຮູບພາບຄໍາບັນຍາຍ, ແລະຄວບຄຸມຕັນ stacking ແຂນຫຸ່ນຍົນ. ມັນແມ່ນເຄືອຂ່າຍ neural ທີ່ສາມາດເຮັດວຽກກັບຂໍ້ມູນຫຼາຍຊະນິດເພື່ອປະຕິບັດວຽກງານຫຼາຍປະເພດ. 

"ດ້ວຍຊຸດນ້ໍາຫນັກດຽວ, Gato ສາມາດມີສ່ວນຮ່ວມໃນການສົນທະນາ, ຮູບພາບຄໍາບັນຍາຍ, stack blocks ດ້ວຍແຂນຫຸ່ນຍົນທີ່ແທ້ຈິງ, ປະຕິບັດມະນຸດໄດ້ດີກວ່າການຫຼິ້ນເກມ Atari, ນໍາທາງໃນສະພາບແວດລ້ອມ 3D simulated, ປະຕິບັດຕາມຄໍາແນະນໍາ, ແລະອື່ນໆ," ຂຽນ Scott Reed ຜູ້ນໍາ. ແລະເພື່ອນຮ່ວມງານໃນເອກະສານຂອງພວກເຂົາ, "A Generalist Agent," ປະກາດໃນເຊີບເວີພິມກ່ອນ Arxiv. 

ຜູ້ຮ່ວມກໍ່ຕັ້ງ DeepMind Demis Hassabis ຊົມເຊີຍທີມງານ, exclaiming ໃນ tweet ເປັນ, “ຕົວແທນທົ່ວໄປທີ່ສຸດຂອງພວກເຮົາ!! ຜົນງານທີ່ຍອດຢ້ຽມຈາກທີມງານ!” 

ນອກຈາກນີ້: ການທົດລອງໃໝ່: AI ຮູ້ຈັກແມວ ຫຼືໝາແທ້ໆ ຫຼືອັນໃດບໍ?

ການຈັບພຽງແຕ່ແມ່ນວ່າ Gato ແມ່ນຕົວຈິງແລ້ວບໍ່ຍິ່ງໃຫຍ່ຫຼາຍໃນວຽກງານຫຼາຍ. 

ໃນອີກດ້ານຫນຶ່ງ, ໂຄງການແມ່ນສາມາດເຮັດໄດ້ດີກວ່າໂຄງການການຮຽນຮູ້ເຄື່ອງຈັກທີ່ອຸທິດຕົນເພື່ອຄວບຄຸມແຂນ Sawyer ຫຸ່ນຍົນທີ່ stacks ຕັນ. ໃນທາງກົງກັນຂ້າມ, ມັນຜະລິດຄໍາບັນຍາຍສໍາລັບຮູບພາບຕ່າງໆໃນຫຼາຍໆກໍລະນີແມ່ນຂ້ອນຂ້າງບໍ່ດີ. ຄວາມສາມາດຂອງມັນຢູ່ໃນການສົນທະນາສົນທະນາມາດຕະຖານກັບ interlocutor ຂອງມະນຸດແມ່ນຄ້າຍຄືກັນກັບປານກາງ, ບາງຄັ້ງ elicit ຄໍາເວົ້າທີ່ກົງກັນຂ້າມແລະບໍ່ສົມເຫດສົມຜົນ. 

ແລະການຫຼີ້ນວີດີໂອເກມ Atari 2600 ຫຼຸດລົງຕໍ່າກວ່າໂຄງການ ML ທີ່ອຸທິດຕົນສ່ວນໃຫຍ່ທີ່ຖືກອອກແບບມາເພື່ອແຂ່ງຂັນໃນດັດຊະນີ. ສະພາບແວດລ້ອມການຮຽນຮູ້ອາເຄດ. 

ເປັນ​ຫຍັງ​ເຈົ້າ​ຈຶ່ງ​ຈະ​ສ້າງ​ໂປຣ​ແກຣມ​ທີ່​ເຮັດ​ບາງ​ອັນ​ໄດ້​ດີ ແລະ​ອັນ​ອື່ນ​ບໍ່​ດີ? ກ່ອນຫນ້າ, ແລະຄວາມຄາດຫວັງ, ອີງຕາມຜູ້ຂຽນ. 

ມີແບບຢ່າງສໍາລັບບັນດາໂຄງການທົ່ວໄປຫຼາຍຊະນິດທີ່ກາຍເປັນລັດຂອງສິນລະປະໃນ AI, ແລະມີຄວາມຄາດຫວັງວ່າການເພີ່ມຂື້ນຂອງພະລັງງານຄອມພິວເຕີ້ໃນອະນາຄົດຈະເຮັດໃຫ້ເກີດການຂາດແຄນ. 

ໂດຍທົ່ວໄປສາມາດມີແນວໂນ້ມທີ່ຈະຊະນະໃນ AI. ດັ່ງທີ່ຜູ້ຂຽນສັງເກດເຫັນ, ອ້າງເຖິງນັກວິຊາການ AI Richard Sutton, "ໃນປະຫວັດສາດ, ຮູບແບບທົ່ວໄປທີ່ດີກວ່າໃນການນໍາໃຊ້ຄອມພິວເຕີ້ກໍ່ມີແນວໂນ້ມທີ່ຈະເອົາຊະນະວິທີການສະເພາະໂດເມນທີ່ພິເສດກວ່າໃນທີ່ສຸດ."

ດັ່ງທີ່ Sutton ຂຽນ ໃນບົດຄວາມ blog ຂອງຕົນເອງ, "ບົດຮຽນທີ່ໃຫຍ່ທີ່ສຸດທີ່ສາມາດອ່ານໄດ້ຈາກ 70 ປີຂອງການຄົ້ນຄວ້າ AI ແມ່ນວ່າວິທີການທົ່ວໄປທີ່ນໍາໃຊ້ການຄິດໄລ່ແມ່ນປະສິດທິຜົນທີ່ສຸດ, ແລະໂດຍຂອບຂະຫນາດໃຫຍ່."

ເຂົ້າໄປໃນ thesis ຢ່າງເປັນທາງການ, Reed ແລະທີມງານຂຽນວ່າ "ພວກເຮົາຢູ່ທີ່ນີ້ທົດສອບສົມມຸດຕິຖານວ່າການຝຶກອົບຮົມຕົວແທນທີ່ມີຄວາມສາມາດໂດຍທົ່ວໄປໃນວຽກງານຈໍານວນຫລາຍແມ່ນເປັນໄປໄດ້; ແລະວ່າຕົວແທນທົ່ວໄປນີ້ສາມາດດັດແປງໄດ້ດ້ວຍຂໍ້ມູນພິເສດເລັກນ້ອຍເພື່ອປະສົບຜົນສໍາເລັດໃນຈໍານວນວຽກງານທີ່ໃຫຍ່ກວ່າ."

ນອກຈາກນີ້: LeCun luminary AI ຂອງ Meta ສຳຫຼວດດ້ານພະລັງງານຂອງການຮຽນຮູ້ຢ່າງເລິກເຊິ່ງ

ຮູບແບບ, ໃນກໍລະນີນີ້, ແທ້ຈິງແລ້ວ, ແມ່ນທົ່ວໄປຫຼາຍ. ມັນແມ່ນສະບັບຂອງ Transformer, ປະເພດທີ່ໂດດເດັ່ນຂອງຮູບແບບການເອົາໃຈໃສ່ທີ່ໄດ້ກາຍເປັນພື້ນຖານຂອງບັນດາໂຄງການຈໍານວນຫລາຍລວມທັງ GPT-3. ໝໍ້ແປງສ້າງແບບຈຳລອງຄວາມເປັນໄປໄດ້ຂອງບາງອົງປະກອບທີ່ໃຫ້ອົງປະກອບທີ່ອ້ອມຮອບມັນ ເຊັ່ນ: ຄຳສັບໃນປະໂຫຍກ. 

ໃນກໍລະນີຂອງ Gato, ນັກວິທະຍາສາດ DeepMind ສາມາດນໍາໃຊ້ການຊອກຫາຄວາມເປັນໄປໄດ້ທີ່ມີເງື່ອນໄຂດຽວກັນກັບປະເພດຂໍ້ມູນຈໍານວນຫລາຍ. 

ດັ່ງທີ່ Reed ແລະເພື່ອນຮ່ວມງານອະທິບາຍວຽກງານຂອງການຝຶກອົບຮົມ Gato, 

ໃນໄລຍະການຝຶກອົບຮົມຂອງ Gato, ຂໍ້ມູນຈາກວຽກງານທີ່ແຕກຕ່າງກັນແລະ modalities ແມ່ນ serialized ເຂົ້າໄປໃນລໍາດັບຮາບພຽງຂອງ tokens, batched, ແລະປະມວນຜົນໂດຍເຄືອຂ່າຍ neural ການຫັນເປັນຄ້າຍຄືກັນກັບຮູບແບບພາສາຂະຫນາດໃຫຍ່. ການສູນເສຍແມ່ນຫນ້າກາກເພື່ອໃຫ້ Gato ພຽງແຕ່ຄາດຄະເນການປະຕິບັດແລະເປົ້າຫມາຍຂໍ້ຄວາມ.

Gato, ໃນຄໍາສັບຕ່າງໆອື່ນໆ, ບໍ່ໄດ້ປະຕິບັດ tokens ແຕກຕ່າງກັນບໍ່ວ່າຈະເປັນຄໍາສັບຕ່າງໆໃນການສົນທະນາຫຼື vectors ການເຄື່ອນໄຫວໃນການອອກກໍາລັງກາຍ block-stacking. ມັນທັງຫມົດຄືກັນ. 

ຝັງຢູ່ພາຍໃນ Reed ແລະສົມມຸດຕິຖານຂອງທີມງານແມ່ນແບບປະສົມປະສານ, ຄືວ່າພະລັງງານຄອມພິວເຕີ້ຫຼາຍແລະຫຼາຍຈະຊະນະ, ໃນທີ່ສຸດ. ໃນປັດຈຸບັນ, Gato ຖືກຈໍາກັດໂດຍເວລາຕອບສະຫນອງຂອງແຂນຫຸ່ນຍົນ Sawyer ທີ່ເຮັດການວາງຕັນ. ຢູ່ທີ່ 1.18 ຕື້ຕົວກໍານົດການເຄືອຂ່າຍ, Gato ມີຂະຫນາດນ້ອຍກວ່າຕົວແບບ AI ຂະຫນາດໃຫຍ່ຫຼາຍເຊັ່ນ GPT-3. ໃນຂະນະທີ່ແບບຈໍາລອງການຮຽນຮູ້ເລິກເຊິ່ງເພີ່ມຂຶ້ນ, ການປະຕິບັດການ inference ນໍາໄປສູ່ການ latency ທີ່ສາມາດລົ້ມເຫລວໃນໂລກທີ່ບໍ່ກໍານົດຂອງຫຸ່ນຍົນທີ່ແທ້ຈິງ. 

ແຕ່, Reed ແລະເພື່ອນຮ່ວມງານຄາດວ່າຂອບເຂດຈໍາກັດນັ້ນຈະລື່ນກາຍຍ້ອນວ່າຮາດແວ AI ໄດ້ໄວຂຶ້ນໃນການປຸງແຕ່ງ.

"ພວກເຮົາສຸມໃສ່ການຝຶກອົບຮົມຂອງພວກເຮົາຢູ່ໃນຈຸດປະຕິບັດງານຂອງຂະຫນາດຕົວແບບທີ່ອະນຸຍາດໃຫ້ຄວບຄຸມເວລາທີ່ແທ້ຈິງຂອງຫຸ່ນຍົນໃນໂລກທີ່ແທ້ຈິງ, ໃນປັດຈຸບັນປະມານ 1.2B ຕົວກໍານົດການໃນກໍລະນີຂອງ Gato," ພວກເຂົາເຈົ້າຂຽນ. "ເມື່ອຮາດແວແລະສະຖາປັດຕະຍະກໍາແບບຈໍາລອງປັບປຸງ, ຈຸດປະຕິບັດງານນີ້ຈະເພີ່ມຂະຫນາດຂອງຕົວແບບທີ່ເປັນໄປໄດ້, ຊຸກຍູ້ໃຫ້ຕົວແບບທົ່ວໄປສູງຂຶ້ນໃນເສັ້ນໂຄ້ງກົດຫມາຍ."

ດັ່ງນັ້ນ, Gato ແມ່ນຕົວແບບສໍາລັບວິທີການຂະຫນາດຂອງຄອມພິວເຕີ້ຈະສືບຕໍ່ເປັນ vector ຕົ້ນຕໍຂອງການພັດທະນາການຮຽນຮູ້ເຄື່ອງຈັກ, ໂດຍການເຮັດໃຫ້ຕົວແບບທົ່ວໄປມີຂະຫນາດໃຫຍ່ແລະຂະຫນາດໃຫຍ່. ໃຫຍ່ແມ່ນດີກວ່າ, ໃນຄໍາສັບຕ່າງໆອື່ນໆ. 

ແລະຜູ້ຂຽນມີຫຼັກຖານບາງຢ່າງສໍາລັບການນີ້. Gato ເບິ່ງຄືວ່າຈະດີຂຶ້ນເມື່ອມັນໃຫຍ່ຂຶ້ນ. ພວກເຂົາເຈົ້າປຽບທຽບຄະແນນສະເລ່ຍໃນທົ່ວທຸກວຽກງານມາດຕະຖານສໍາລັບສາມຂະຫນາດຂອງຕົວແບບຕາມຕົວກໍານົດການ, 79 ລ້ານ, 364 ລ້ານ, ແລະຮູບແບບຕົ້ນຕໍ, 1.18 ຕື້. ຜູ້ຂຽນຂຽນວ່າ "ພວກເຮົາສາມາດເຫັນໄດ້ວ່າສໍາລັບການນັບ token ທຽບເທົ່າ, ມີການປັບປຸງປະສິດທິພາບທີ່ສໍາຄັນທີ່ມີຂະຫນາດເພີ່ມຂຶ້ນ," ຜູ້ຂຽນຂຽນ. 

ຄໍາຖາມໃນອະນາຄົດທີ່ຫນ້າສົນໃຈແມ່ນວ່າໂຄງການທີ່ມີລັກສະນະທົ່ວໄປແມ່ນອັນຕະລາຍຫຼາຍກ່ວາໂຄງການ AI ປະເພດອື່ນໆ. ຜູ້​ຂຽນ​ໄດ້​ໃຊ້​ເວ​ລາ​ເປັນ​ເວ​ລາ​ໃນ​ບົດ​ລາຍ​ງານ​ກ່ຽວ​ກັບ​ຄວາມ​ຈິງ​ທີ່​ວ່າ​ມີ​ອັນ​ຕະ​ລາຍ​ທີ່​ອາດ​ຈະ​ຍັງ​ບໍ່​ໄດ້​ເຂົ້າ​ໃຈ​ໄດ້​ດີ.  

ແນວຄວາມຄິດຂອງໂຄງການທີ່ຈັດການກັບວຽກງານຫຼາຍຢ່າງຊີ້ໃຫ້ເຫັນເຖິງການປັບຕົວຂອງມະນຸດປະເພດຫນຶ່ງ, ແຕ່ນັ້ນອາດຈະເປັນຄວາມເຂົ້າໃຈຜິດທີ່ເປັນອັນຕະລາຍ. "ຕົວຢ່າງ, ລັກສະນະທາງກາຍະພາບສາມາດນໍາໄປສູ່ຜູ້ໃຊ້ anthropomorphizing ຕົວແທນ, ນໍາໄປສູ່ຄວາມໄວ້ວາງໃຈທີ່ຜິດພາດໃນກໍລະນີຂອງລະບົບທີ່ຜິດປົກກະຕິ, ຫຼືຖືກຂູດຮີດໂດຍນັກສະແດງທີ່ບໍ່ດີ," Reed ແລະທີມງານຂຽນ. 

"ນອກຈາກນັ້ນ, ໃນຂະນະທີ່ການໂອນຄວາມຮູ້ຂ້າມໂດເມນມັກຈະເປັນເປົ້າຫມາຍໃນການຄົ້ນຄວ້າ ML, ມັນສາມາດສ້າງຜົນໄດ້ຮັບທີ່ບໍ່ຄາດຄິດແລະບໍ່ຕ້ອງການຖ້າພຶດຕິກໍາບາງຢ່າງ (ເຊັ່ນ: ການຕໍ່ສູ້ເກມ arcade) ເຂົ້າໄປໃນສະພາບການທີ່ບໍ່ຖືກຕ້ອງ."

ດັ່ງນັ້ນ, ພວກເຂົາຂຽນວ່າ, "ການພິຈາລະນາດ້ານຈັນຍາບັນແລະຄວາມປອດໄພຂອງການຖ່າຍທອດຄວາມຮູ້ອາດຈະຮຽກຮ້ອງໃຫ້ມີການຄົ້ນຄວ້າໃຫມ່ຢ່າງຫຼວງຫຼາຍຍ້ອນວ່າລະບົບທົ່ວໄປກ້າວຫນ້າ."

(ເປັນບັນທຶກຂ້າງຄຽງທີ່ຫນ້າສົນໃຈ, ເຈ້ຍ Gato ໃຊ້ໂຄງການເພື່ອອະທິບາຍຄວາມສ່ຽງທີ່ສ້າງຂຶ້ນໂດຍອະດີດນັກຄົ້ນຄວ້າ AI ຂອງ Google Margaret Michell ແລະເພື່ອນຮ່ວມງານ, ເອີ້ນວ່າ Model Cards. Model Cards ໃຫ້ສະຫຼຸບສັ້ນໆກ່ຽວກັບສິ່ງທີ່ໂຄງການ AI ແມ່ນຫຍັງ, ມັນເຮັດຫຍັງ, ແລະແມ່ນຫຍັງ. ປັດໄຈທີ່ມີຜົນກະທົບຕໍ່ວິທີການດໍາເນີນການ. Michell ຂຽນໃນປີກາຍນີ້ວ່ານາງໄດ້ຖືກບັງຄັບໃຫ້ອອກຈາກ Google ສໍາລັບການສະຫນັບສະຫນູນອະດີດເພື່ອນຮ່ວມງານຂອງນາງ, Timnit Gebru, ເຊິ່ງຄວາມກັງວົນດ້ານຈັນຍາບັນກ່ຽວກັບ AI ເຮັດໃຫ້ເກີດຄວາມເສຍຫາຍຕໍ່ການນໍາພາຂອງ Google.)

Gato ແມ່ນບໍ່ເປັນເອກະລັກໃນແນວໂນ້ມທົ່ວໄປຂອງມັນ. ມັນແມ່ນສ່ວນຫນຶ່ງຂອງທ່າອ່ຽງການແຜ່ຂະຫຍາຍຢ່າງກວ້າງຂວາງ, ແລະຮູບແບບຂະຫນາດໃຫຍ່ທີ່ໃຊ້ຖັງຂອງແຮງມ້າ. ໂລກໄດ້ຮັບລົດຊາດທໍາອິດຂອງຄວາມອຽງຂອງ Google ໃນທິດທາງນີ້ໃນຊ່ວງລຶະເບິ່ງຮ້ອນທີ່ຜ່ານມາ, ດ້ວຍເຄືອຂ່າຍ neural "Perceiver" ຂອງ Google ທີ່ປະສົມປະສານວຽກງານ Transformer ກັບຮູບພາບ, ສຽງ, ແລະ LiDAR spatial ພິກັດ.

ນອກຈາກນີ້: Supermodel ຂອງ Google: DeepMind Perceiver ແມ່ນບາດກ້າວໃນເສັ້ນທາງໄປສູ່ເຄື່ອງຈັກ AI ທີ່ສາມາດປຸງແຕ່ງທຸກຢ່າງແລະທຸກສິ່ງທຸກຢ່າງ.

ໃນບັນດາເພື່ອນມິດຂອງຕົນແມ່ນ PaLM, ຮູບແບບພາສາ Pathways, ແນະນໍາໃນປີນີ້ໂດຍນັກວິທະຍາສາດ Google, ເປັນຕົວແບບພາລາມິເຕີ 540 ຕື້ທີ່ນໍາໃຊ້ເຕັກໂນໂລຢີໃຫມ່ສໍາລັບການປະສານງານຫລາຍພັນຊິບ, ທີ່​ຮູ້​ຈັກ​ເປັນ Pathways​, ຍັງ invented ຢູ່ Google. ເຄືອຂ່າຍ neural ທີ່ປ່ອຍອອກມາໃນເດືອນມັງກອນໂດຍ Meta, ເອີ້ນວ່າ "data2vec," ໃຊ້ Transformers ສໍາລັບຂໍ້ມູນຮູບພາບ, ຮູບແບບຄື້ນສຽງເວົ້າ, ແລະການເປັນຕົວແທນຂອງພາສາຂໍ້ຄວາມທັງຫມົດໃນຫນຶ່ງ. 

ສິ່ງໃຫມ່ກ່ຽວກັບ Gato, ມັນຈະເບິ່ງຄືວ່າ, ແມ່ນຄວາມຕັ້ງໃຈທີ່ຈະເອົາ AI ທີ່ໃຊ້ສໍາລັບວຽກງານທີ່ບໍ່ແມ່ນຫຸ່ນຍົນແລະຍູ້ມັນເຂົ້າໄປໃນອານາຈັກຫຸ່ນຍົນ.

ຜູ້ສ້າງຂອງ Gato, ສັງເກດເຫັນຜົນສໍາເລັດຂອງ Pathways, ແລະວິທີການທົ່ວໄປອື່ນໆ, ເບິ່ງຜົນສໍາເລັດສູງສຸດໃນ AI ທີ່ສາມາດປະຕິບັດໄດ້ໃນໂລກທີ່ແທ້ຈິງ, ກັບປະເພດຂອງວຽກງານໃດຫນຶ່ງ. 

"ການເຮັດວຽກໃນອະນາຄົດຄວນພິຈາລະນາວິທີການປະສົມປະສານຄວາມສາມາດຂອງຂໍ້ຄວາມເຫຼົ່ານີ້ເຂົ້າໄປໃນຕົວແທນທົ່ວໄປຢ່າງເຕັມທີ່ເຊິ່ງຍັງສາມາດປະຕິບັດໃນເວລາທີ່ແທ້ຈິງໃນໂລກທີ່ແທ້ຈິງ, ໃນສະພາບແວດລ້ອມທີ່ຫຼາກຫຼາຍແລະລັກສະນະ." 

ຫຼັງຈາກນັ້ນ, ທ່ານສາມາດພິຈາລະນາ Gato ເປັນບາດກ້າວທີ່ສໍາຄັນໃນເສັ້ນທາງທີ່ຈະແກ້ໄຂບັນຫາທີ່ຍາກທີ່ສຸດຂອງ AI, ຫຸ່ນຍົນ.