Meta's AI guru LeCun: ສ່ວນໃຫຍ່ຂອງວິທີການ AI ໃນມື້ນີ້ຈະບໍ່ນໍາໄປສູ່ປັນຍາທີ່ແທ້ຈິງ.

ZDNet: ພວກເຮົາເວົ້າເກີນຂອບເຂດການລົງທຶນຂອງນັກລົງທຶນສ່ວນໃຫຍ່.

YL: ຖືກ​ຕ້ອງ. ດັ່ງນັ້ນ, ຄໍາຖາມແມ່ນ, ປະຊາຊົນຈະສູນເສຍຄວາມອົດທົນຫຼືຫມົດເງິນກ່ອນທີ່ການປະຕິບັດບັນລຸລະດັບທີ່ຕ້ອງການ.

ZDNet: ມີສິ່ງທີ່ຫນ້າສົນໃຈທີ່ຈະເວົ້າກ່ຽວກັບວ່າເປັນຫຍັງທ່ານເລືອກບາງອົງປະກອບທີ່ທ່ານເລືອກໃນແບບຈໍາລອງ? ເພາະວ່າເຈົ້າອ້າງເຖິງ Kenneth Craik [1943,ລັກສະນະຂອງຄໍາອະທິບາຍ], ແລະເຈົ້າອ້າງເຖິງ Bryson and Ho [1969, ນຳໃຊ້ການຄວບຄຸມທີ່ດີທີ່ສຸດ], ແລະຂ້ອຍຢາກຮູ້ຢາກເຫັນວ່າເປັນຫຍັງເຈົ້າຈຶ່ງເລີ່ມມີອິດທິພົນເຫຼົ່ານີ້, ຖ້າເຈົ້າເຊື່ອໂດຍສະເພາະວ່າຄົນເຫຼົ່ານີ້ໄດ້ຕີມັນໄວ້ເທົ່າທີ່ເຂົາເຈົ້າໄດ້ເຮັດ. ເປັນຫຍັງເຈົ້າຈຶ່ງເລີ່ມຢູ່ທີ່ນັ້ນ?

YL: ດີ, ຂ້ອຍບໍ່ຄິດວ່າ, ແນ່ນອນ, ພວກເຂົາເຈົ້າມີລາຍລະອຽດທັງຫມົດທີ່ຖືກ nailed. ດັ່ງນັ້ນ, Bryson ແລະ Ho, ນີ້ແມ່ນປື້ມທີ່ຂ້າພະເຈົ້າອ່ານຄືນໃນປີ 1987 ໃນເວລາທີ່ຂ້າພະເຈົ້າເປັນ postdoc ກັບ Geoffrey Hinton ໃນ Toronto. ແຕ່ຂ້ອຍຮູ້ກ່ຽວກັບສາຍການເຮັດວຽກນີ້ກ່ອນເວລາທີ່ຂ້ອຍຂຽນ PhD ຂອງຂ້ອຍ, ແລະເຮັດໃຫ້ການເຊື່ອມຕໍ່ລະຫວ່າງການຄວບຄຸມທີ່ດີທີ່ສຸດແລະ backprop, ເປັນສິ່ງຈໍາເປັນ. ຖ້າທ່ານຢາກເປັນແທ້ໆ, ທ່ານຮູ້, Schmidhuber ຄົນອື່ນ, ທ່ານຈະເວົ້າວ່ານັກປະດິດທີ່ແທ້ຈິງຂອງ backprop ແມ່ນນັກທິດສະດີການຄວບຄຸມທີ່ດີທີ່ສຸດ Henry J. Kelley, Arthur Bryson, ແລະບາງທີແມ່ນ Lev Pontryagin, ຜູ້ທີ່ເປັນນັກທິດສະດີການຄວບຄຸມທີ່ດີທີ່ສຸດຂອງລັດເຊຍ. ໃນທ້າຍປີ 50s. 

ດັ່ງນັ້ນ, ພວກເຂົາເຈົ້າໄດ້ຄິດອອກ, ແລະໃນຕົວຈິງແລ້ວ, ຕົວຈິງແລ້ວ, ຕົວຈິງແລ້ວ, ທ່ານສາມາດເບິ່ງຮາກຂອງນີ້, ຄະນິດສາດຂ້າງລຸ່ມນີ້, ແມ່ນກົນຈັກ Lagrangian. ດັ່ງນັ້ນທ່ານສາມາດກັບຄືນໄປຫາ Euler ແລະ Lagrange, ໃນຄວາມເປັນຈິງ, ແລະປະເພດຂອງການຄົ້ນພົບນີ້ຢູ່ໃນຄໍານິຍາມຂອງກົນຈັກຄລາສສິກ Lagrangian, ແທ້. ດັ່ງນັ້ນ, ໃນສະພາບການຂອງການຄວບຄຸມທີ່ດີທີ່ສຸດ, ສິ່ງທີ່ຄົນເຫຼົ່ານີ້ມີຄວາມສົນໃຈໃນພື້ນຖານແມ່ນການຄິດໄລ່ trajectories ລູກ. ເຈົ້າຮູ້ບໍ່, ນີ້ແມ່ນຍຸກອະວະກາດຕອນຕົ້ນ. ແລະຖ້າທ່ານມີແບບຈໍາລອງຂອງບັ້ງໄຟ, ມັນບອກທ່ານວ່ານີ້ແມ່ນສະພາບຂອງບັ້ງໄຟໃນເວລານັ້ນ t, ແລະນີ້ແມ່ນການດໍາເນີນການທີ່ຂ້າພະເຈົ້າຈະປະຕິບັດ, ດັ່ງນັ້ນ, thrust ແລະ actuators ປະເພດຕ່າງໆ, ນີ້ແມ່ນສະຖານະຂອງບັ້ງໄຟໃນເວລານັ້ນ. t+1.

ZDNet: ຮູບແບບການປະຕິບັດຂອງລັດ, ຮູບແບບມູນຄ່າ.

YL: ນັ້ນແມ່ນ, ພື້ນຖານຂອງການຄວບຄຸມ. ດັ່ງນັ້ນ, ຕອນນີ້ທ່ານສາມາດຈໍາລອງການຍິງບັ້ງໄຟຂອງທ່ານໂດຍການຈິນຕະນາການລໍາດັບຄໍາສັ່ງ, ແລະຫຼັງຈາກນັ້ນທ່ານມີຄ່າໃຊ້ຈ່າຍບາງຢ່າງ, ເຊິ່ງແມ່ນໄລຍະຫ່າງຂອງບັ້ງໄຟໄປຫາເປົ້າຫມາຍຂອງມັນ, ສະຖານີອາວະກາດຫຼືສິ່ງໃດກໍ່ຕາມ. ແລະຫຼັງຈາກນັ້ນໂດຍບາງປະເພດຂອງການສືບເຊື້ອສາຍ gradient, ທ່ານສາມາດຄິດອອກ, ຂ້ອຍຈະປັບປຸງລໍາດັບການປະຕິບັດຂອງຂ້ອຍໄດ້ແນວໃດເພື່ອໃຫ້ລູກຂອງຂ້ອຍເຂົ້າໃກ້ເປົ້າຫມາຍທີ່ເປັນໄປໄດ້. ແລະນັ້ນຕ້ອງມາໂດຍສັນຍານການແຜ່ກະຈາຍກັບຄືນໄປບ່ອນໃນເວລາ. ແລະນັ້ນແມ່ນການຂະຫຍາຍພັນຄືນ, ການຂະຫຍາຍພັນແບບ gradient. ສັນຍານເຫຼົ່ານັ້ນ, ພວກມັນຖືກເອີ້ນວ່າຕົວແປ conjugate ໃນກົນຈັກ Lagrangian, ແຕ່ໃນຄວາມເປັນຈິງ, ພວກມັນແມ່ນ gradients. ດັ່ງນັ້ນ, ພວກເຂົາເຈົ້າ invented backprop, ແຕ່ພວກເຂົາເຈົ້າບໍ່ໄດ້ຮັບຮູ້ວ່າຫຼັກການນີ້ສາມາດຖືກນໍາໃຊ້ເພື່ອຝຶກອົບຮົມລະບົບຫຼາຍຂັ້ນຕອນທີ່ສາມາດເຮັດການຮັບຮູ້ຮູບແບບຫຼືບາງສິ່ງບາງຢ່າງເຊັ່ນນັ້ນ. ນີ້ບໍ່ໄດ້ຮັບຮູ້ຢ່າງແທ້ຈິງຈົນກ່ວາບາງທີທ້າຍ 70s, ຕົ້ນ 80s, ແລະຫຼັງຈາກນັ້ນບໍ່ໄດ້ປະຕິບັດຕົວຈິງແລະເຮັດວຽກຈົນກ່ວາກາງ 80s. ໂອເຄ, ດັ່ງນັ້ນ, ນີ້ແມ່ນບ່ອນທີ່ backprop ແທ້ໆ, ປະເພດ, ໄດ້ເອົາອອກເພາະວ່າປະຊາຊົນສະແດງໃຫ້ເຫັນນີ້ແມ່ນສອງສາມເສັ້ນຂອງລະຫັດທີ່ທ່ານສາມາດຝຶກອົບຮົມ neural net, ສິ້ນສຸດ, multilayer. ແລະນັ້ນຍົກຂໍ້ຈໍາກັດຂອງ Perceptron. ແລະ, ແມ່ນແລ້ວ, ມີການເຊື່ອມຕໍ່ກັບການຄວບຄຸມທີ່ດີທີ່ສຸດ, ແຕ່ວ່າບໍ່ເປັນຫຍັງ.

ZDNet: ດັ່ງນັ້ນ, ມັນເປັນວິທີທາງຍາວຂອງການເວົ້າວ່າອິດທິພົນເຫຼົ່ານີ້ທີ່ທ່ານເລີ່ມຕົ້ນດ້ວຍການກັບຄືນສູ່ backprop, ແລະນັ້ນແມ່ນສໍາຄັນເປັນຈຸດເລີ່ມຕົ້ນສໍາລັບທ່ານບໍ?

YL: ແມ່ນແລ້ວ, ແຕ່ຂ້ອຍຄິດວ່າສິ່ງທີ່ຄົນລືມເລັກນ້ອຍກ່ຽວກັບເລື່ອງນີ້, ມີວຽກເລັກນ້ອຍກ່ຽວກັບເລື່ອງນີ້, ເຈົ້າຮູ້, ໃນຊຸມປີ 90, ຫຼືແມ້ກະທັ້ງ 80s, ລວມທັງຄົນເຊັ່ນ Michael Jordan [MIT Dept. of Brain ແລະວິທະຍາສາດມັນສະຫມອງ] ແລະປະຊາຊົນມັກຜູ້ທີ່ບໍ່ໄດ້ເຮັດຕາຫນ່າງ neural ອີກຕໍ່ໄປ, ແຕ່ຄວາມຄິດທີ່ວ່າທ່ານສາມາດນໍາໃຊ້ຕາຫນ່າງ neural ສໍາລັບການຄວບຄຸມ, ແລະທ່ານສາມາດນໍາໃຊ້ແນວຄວາມຄິດຄລາສສິກຂອງການຄວບຄຸມທີ່ດີທີ່ສຸດ. ດັ່ງນັ້ນ, ສິ່ງຕ່າງໆເຊັ່ນສິ່ງທີ່ເອີ້ນວ່າການຄວບຄຸມແບບຈໍາລອງ - ການຄາດເດົາ, ປະຈຸບັນເອີ້ນວ່າການຄວບຄຸມແບບຈໍາລອງ - ການຄາດເດົາ, ຄວາມຄິດນີ້ທີ່ທ່ານສາມາດຈໍາລອງຫຼືຈິນຕະນາການຜົນໄດ້ຮັບຂອງລໍາດັບຂອງການປະຕິບັດຖ້າທ່ານມີຕົວແບບທີ່ດີຂອງລະບົບທີ່ທ່ານກໍາລັງພະຍາຍາມຄວບຄຸມ. ແລະສະພາບແວດລ້ອມທີ່ມັນຢູ່ໃນ. ແລະຫຼັງຈາກນັ້ນໂດຍ gradient descent, ສໍາຄັນ - ນີ້ບໍ່ແມ່ນການຮຽນຮູ້, ນີ້ແມ່ນ inference - ທ່ານສາມາດຄິດອອກສິ່ງທີ່ເປັນລໍາດັບທີ່ດີທີ່ສຸດຂອງການປະຕິບັດທີ່ຈະຫຼຸດຜ່ອນຈຸດປະສົງຂອງຂ້າພະເຈົ້າ. ດັ່ງນັ້ນ, ການນໍາໃຊ້ຫນ້າທີ່ຄ່າໃຊ້ຈ່າຍທີ່ມີຕົວແປ latent ສໍາລັບ inference ແມ່ນ, ຂ້າພະເຈົ້າຄິດວ່າ, ບາງສິ່ງບາງຢ່າງທີ່ການປູກພືດໃນປະຈຸບັນຂອງຕາຫນ່າງ neural ຂະຫນາດໃຫຍ່ໄດ້ລືມກ່ຽວກັບ. ແຕ່ມັນເປັນອົງປະກອບຄລາສສິກຫຼາຍຂອງການຮຽນຮູ້ເຄື່ອງຈັກສໍາລັບເວລາດົນນານ. ດັ່ງນັ້ນ, ທຸກໆ Bayesian Net ຫຼືແບບຈໍາລອງກາຟິກຫຼືຮູບແບບກາຟິກທີ່ອາດຈະເປັນໄປໄດ້ໃຊ້ປະເພດຂອງ inference ນີ້. ທ່ານມີແບບຈໍາລອງທີ່ເກັບກໍາຄວາມເພິ່ງພາອາໄສລະຫວ່າງກຸ່ມຕົວແປ, ທ່ານກໍາລັງບອກມູນຄ່າຂອງບາງຕົວແປ, ແລະຫຼັງຈາກນັ້ນທ່ານຕ້ອງຄິດໄລ່ມູນຄ່າທີ່ເປັນໄປໄດ້ທີ່ສຸດຂອງຕົວແປທີ່ເຫຼືອ. ນັ້ນແມ່ນຫຼັກການພື້ນຖານຂອງ inference ໃນຮູບແບບກາຟິກແລະ Bayesian Nets, ແລະສິ່ງຕ່າງໆເຊັ່ນນັ້ນ. ແລະຂ້າພະເຈົ້າຄິດວ່າໂດຍພື້ນຖານແລ້ວສິ່ງທີ່ສົມເຫດສົມຜົນຄວນຈະເປັນ, ເຫດຜົນແລະການວາງແຜນ.

ZDNet: ເຈົ້າເປັນ closet Bayesian.

YL: ຂ້ອຍເປັນ Bayesian ທີ່ບໍ່ເປັນໄປໄດ້. ຂ້ອຍເວົ້າຕະຫຼົກນັ້ນກ່ອນ. ຕົວຈິງແລ້ວຂ້ອຍຢູ່ທີ່ NeurIPS ເມື່ອສອງສາມປີກ່ອນ, ຂ້ອຍຄິດວ່າມັນແມ່ນປີ 2018 ຫຼື 2019, ແລະຂ້ອຍຖືກຈັບໄດ້ໃນວິດີໂອໂດຍ Bayesian ທີ່ຖາມຂ້ອຍວ່າຂ້ອຍເປັນຄົນ Bayesian, ແລະຂ້ອຍເວົ້າວ່າ, ແມ່ນແລ້ວ, ຂ້ອຍເປັນ Bayesian, ແຕ່ຂ້ອຍ 'm a non-probabilistic Bayesian, sort-of, ເປັນ Bayesian ທີ່ອີງໃສ່ພະລັງງານ, ຖ້າທ່ານຕ້ອງການ. 

ZDNet: ເຊິ່ງແນ່ນອນວ່າສຽງຄ້າຍຄືບາງສິ່ງບາງຢ່າງຈາກ Star Trek. ທ່ານໄດ້ກ່າວໄວ້ໃນທ້າຍຂອງເອກະສານນີ້, ມັນຈະໃຊ້ເວລາຫຼາຍປີຂອງການເຮັດວຽກຫນັກແທ້ໆເພື່ອຮັບຮູ້ສິ່ງທີ່ທ່ານຈິນຕະນາການ. ບອກຂ້າພະເຈົ້າກ່ຽວກັບສິ່ງທີ່ບາງສ່ວນຂອງວຽກງານນັ້ນໃນປັດຈຸບັນປະກອບດ້ວຍ.

YL: ດັ່ງນັ້ນ, ຂ້າພະເຈົ້າອະທິບາຍວິທີທີ່ທ່ານຝຶກອົບຮົມແລະສ້າງ JEPA ໃນເຈ້ຍ. ແລະເງື່ອນໄຂທີ່ຂ້ອຍກໍາລັງສົ່ງເສີມແມ່ນມີວິທີໃດນຶ່ງໃນການຂະຫຍາຍເນື້ອຫາຂໍ້ມູນໃຫ້ສູງສຸດທີ່ຕົວແທນທີ່ຖືກສະກັດອອກມາມີກ່ຽວກັບການປ້ອນຂໍ້ມູນ. ແລະຫຼັງຈາກນັ້ນອັນທີສອງແມ່ນການຫຼຸດຜ່ອນຄວາມຜິດພາດຂອງການຄາດຄະເນ. ແລະຖ້າທ່ານມີຕົວແປທີ່ແຝງຢູ່ໃນຕົວຄາດຄະເນທີ່ຊ່ວຍໃຫ້ຜູ້ຄາດຄະເນບໍ່ສາມາດກໍານົດໄດ້, ທ່ານຕ້ອງເຮັດໃຫ້ຕົວແປທີ່ແຝງນີ້ເປັນປົກກະຕິໂດຍການຫຼຸດຜ່ອນເນື້ອໃນຂໍ້ມູນຂອງມັນ. ດັ່ງນັ້ນ, ທ່ານມີສອງບັນຫາໃນປັດຈຸບັນ, ເຊິ່ງແມ່ນວິທີທີ່ທ່ານເພີ່ມເນື້ອຫາຂໍ້ມູນຂອງຜົນຜະລິດຂອງເນັດ neural ບາງອັນ, ແລະອີກອັນຫນຶ່ງແມ່ນວິທີທີ່ທ່ານຫຼຸດຜ່ອນເນື້ອຫາຂໍ້ມູນຂອງຕົວແປບາງຕົວແປ? ແລະຖ້າທ່ານບໍ່ເຮັດສອງຢ່າງນັ້ນ, ລະບົບຈະລົ້ມລົງ. ມັນຈະບໍ່ຮຽນຮູ້ສິ່ງທີ່ຫນ້າສົນໃຈ. ມັນຈະໃຫ້ພະລັງງານສູນກັບທຸກສິ່ງທຸກຢ່າງ, ບາງສິ່ງບາງຢ່າງເຊັ່ນນັ້ນ, ເຊິ່ງບໍ່ແມ່ນຕົວແບບທີ່ດີຂອງການເພິ່ງພາອາໄສ. ມັນ​ເປັນ​ບັນ​ຫາ​ປ້ອງ​ກັນ​ການ​ພັງ​ລົງ​ທີ່​ຂ້າ​ພະ​ເຈົ້າ​ໄດ້​ກ່າວ​ເຖິງ​. 

ແລະຂ້າພະເຈົ້າເວົ້າກ່ຽວກັບທຸກສິ່ງທີ່ຄົນເຄີຍເຮັດ, ມີພຽງແຕ່ສອງປະເພດຂອງວິທີການເພື່ອປ້ອງກັນການລົ້ມລົງ. ຫນຶ່ງແມ່ນວິທີການກົງກັນຂ້າມ, ແລະອີກອັນຫນຶ່ງແມ່ນວິທີການປົກກະຕິເຫຼົ່ານັ້ນ. ດັ່ງນັ້ນ, ແນວຄວາມຄິດຂອງການຂະຫຍາຍເນື້ອຫາຂໍ້ມູນສູງສຸດຂອງການເປັນຕົວແທນຂອງສອງວັດສະດຸປ້ອນແລະການຫຼຸດຜ່ອນເນື້ອຫາຂໍ້ມູນຂອງຕົວແປທີ່ແຝງ, ເຊິ່ງເປັນວິທີການປົກກະຕິ. ແຕ່ການເຮັດວຽກຫຼາຍຢ່າງໃນສະຖາປັດຕະຍະກໍາຝັງຕົວຮ່ວມກັນແມ່ນໃຊ້ວິທີການກົງກັນຂ້າມ. ໃນຄວາມເປັນຈິງ, ພວກເຂົາອາດຈະເປັນທີ່ນິຍົມທີ່ສຸດໃນເວລານີ້. ດັ່ງນັ້ນ, ຄໍາຖາມແມ່ນແນ່ນອນວິທີທີ່ທ່ານວັດແທກເນື້ອຫາຂໍ້ມູນໃນວິທີທີ່ທ່ານສາມາດເພີ່ມປະສິດທິພາບຫຼືຫຼຸດລົງ? ແລະນັ້ນແມ່ນບ່ອນທີ່ສິ່ງທີ່ສັບສົນເພາະວ່າພວກເຮົາບໍ່ຮູ້ວິທີການວັດແທກເນື້ອຫາຂໍ້ມູນ. ພວກເຮົາສາມາດປະມານມັນ, ພວກເຮົາສາມາດຜູກມັດມັນ, ພວກເຮົາສາມາດເຮັດສິ່ງຕ່າງໆເຊັ່ນນັ້ນ. ແຕ່ຕົວຈິງແລ້ວພວກເຂົາບໍ່ໄດ້ວັດແທກເນື້ອໃນຂໍ້ມູນ, ເຊິ່ງ, ຕົວຈິງແລ້ວ, ໃນບາງຂອບເຂດແມ່ນບໍ່ໄດ້ກໍານົດໄດ້ດີ.

ZDNet: ມັນບໍ່ແມ່ນກົດຫມາຍຂອງ Shannon? ມັນບໍ່ແມ່ນທິດສະດີຂໍ້ມູນຂ່າວສານ? ທ່ານໄດ້ຮັບຈໍານວນທີ່ແນ່ນອນຂອງ entropy, entropy ດີແລະ entropy ທີ່ບໍ່ດີ, ແລະ entropy ທີ່ດີແມ່ນລະບົບສັນຍາລັກທີ່ເຮັດວຽກ, entropy ທີ່ບໍ່ດີແມ່ນສິ່ງລົບກວນ. ມັນບໍ່ແມ່ນການແກ້ໄຂທັງຫມົດໂດຍ Shannon?

YL: ເຈົ້າເວົ້າຖືກ, ແຕ່ມີຂໍ້ບົກຜ່ອງທີ່ສໍາຄັນທີ່ຢູ່ເບື້ອງຫຼັງ. ທ່ານຖືກຕ້ອງໃນຄວາມ ໝາຍ ວ່າຖ້າທ່ານມີຂໍ້ມູນເຂົ້າມາຫາທ່ານແລະທ່ານສາມາດ ຈຳ ນວນຂໍ້ມູນເປັນສັນຍາລັກທີ່ແຍກຕ່າງຫາກ, ແລະຫຼັງຈາກນັ້ນທ່ານວັດແທກຄວາມເປັນໄປໄດ້ຂອງແຕ່ລະສັນຍາລັກເຫຼົ່ານັ້ນ, ຈໍານວນຂໍ້ມູນສູງສຸດຂອງສັນຍາລັກເຫຼົ່ານັ້ນແມ່ນຕົວເລກ. ຜົນລວມຫຼາຍກວ່າສັນຍາລັກທີ່ເປັນໄປໄດ້ຂອງ Pi log Pi, ສິດ? ຢູ່ໃສ Pi ແມ່ນຄວາມເປັນໄປໄດ້ຂອງສັນຍາລັກ ຂ້ອຍ — ນັ້ນ​ແມ່ນ​ອັນ​ໂທ​ປີ Shannon. [ກົດ​ຫມາຍ​ວ່າ​ດ້ວຍ Shannon ໄດ້​ຖືກ​ສ້າງ​ຕັ້ງ​ໂດຍ​ທົ່ວ​ໄປ​ເປັນ H = – ∑ pi log pi.]

ນີ້ແມ່ນບັນຫາ, ເຖິງແມ່ນວ່າ: ແມ່ນຫຍັງ Pi? ມັນງ່າຍໃນເວລາທີ່ຈໍານວນຂອງສັນຍາລັກມີຂະຫນາດນ້ອຍແລະສັນຍາລັກໄດ້ຖືກແຕ້ມເປັນເອກະລາດ. ເມື່ອມີສັນຍາລັກຫຼາຍ, ແລະຄວາມເພິ່ງພາອາໄສ, ມັນຍາກຫຼາຍ. ດັ່ງນັ້ນ, ຖ້າທ່ານມີລໍາດັບຂອງ bits ແລະທ່ານສົມມຸດວ່າ bits ເປັນເອກະລາດຂອງກັນແລະກັນແລະຄວາມເປັນໄປໄດ້ແມ່ນເທົ່າທຽມກັນລະຫວ່າງຫນຶ່ງຫາສູນຫຼືໃດກໍ່ຕາມ, ຫຼັງຈາກນັ້ນທ່ານສາມາດວັດແທກ entropy ໄດ້ຢ່າງງ່າຍດາຍ, ບໍ່ມີບັນຫາ. ແຕ່ຖ້າຫາກວ່າສິ່ງທີ່ມາຫາທ່ານແມ່ນ vectors ມິຕິລະດັບສູງ, ເຊັ່ນ, ທ່ານຮູ້ຈັກ, ກອບຂໍ້ມູນ, ຫຼືບາງສິ່ງບາງຢ່າງເຊັ່ນນີ້, ແມ່ນຫຍັງ. Pi? ການແຈກຢາຍແມ່ນຫຍັງ? ກ່ອນອື່ນ ໝົດ ທ່ານຕ້ອງຄິດໄລ່ພື້ນທີ່ນັ້ນ, ເຊິ່ງເປັນພື້ນທີ່ທີ່ມີມິຕິລະດັບສູງ, ຢ່າງຕໍ່ເນື່ອງ. ທ່ານບໍ່ມີຄວາມຄິດແນວໃດທີ່ຈະ quantize ນີ້ຢ່າງຖືກຕ້ອງ. ທ່ານສາມາດນໍາໃຊ້ k-means, ແລະອື່ນໆ. ນີ້ແມ່ນສິ່ງທີ່ຄົນເຮັດໃນເວລາທີ່ເຂົາເຈົ້າເຮັດການບີບອັດວິດີໂອແລະການບີບອັດຮູບພາບ. ແຕ່ມັນເປັນພຽງແຕ່ປະມານ. ແລະຫຼັງຈາກນັ້ນທ່ານຕ້ອງເຮັດສົມມຸດຕິຖານຂອງເອກະລາດ. ດັ່ງນັ້ນ, ມັນເປັນທີ່ຊັດເຈນວ່າໃນວິດີໂອ, ກອບຢ່າງຕໍ່ເນື່ອງບໍ່ແມ່ນເອກະລາດ. ມີຄວາມເພິ່ງພາອາໄສ, ແລະກອບນັ້ນອາດຈະຂຶ້ນກັບກອບອື່ນທີ່ທ່ານເຫັນຫນຶ່ງຊົ່ວໂມງກ່ອນຫນ້ານີ້, ເຊິ່ງເປັນຮູບຂອງສິ່ງດຽວກັນ. ດັ່ງນັ້ນ, ເຈົ້າຮູ້, ທ່ານບໍ່ສາມາດວັດແທກໄດ້ Pi. ການວັດແທກ Pi, ທ່ານຕ້ອງມີລະບົບການຮຽນຮູ້ເຄື່ອງຈັກທີ່ຮຽນຮູ້ການຄາດເດົາ. ແລະດັ່ງນັ້ນທ່ານກັບຄືນໄປບ່ອນບັນຫາທີ່ຜ່ານມາ. ດັ່ງນັ້ນ, ທ່ານພຽງແຕ່ສາມາດປະມານການວັດແທກຂໍ້ມູນ, ທີ່ສໍາຄັນ. 

ໃຫ້ຂ້ອຍເອົາຕົວຢ່າງທີ່ຊັດເຈນກວ່າ. ຫນຶ່ງໃນ algorithm ທີ່ພວກເຮົາໄດ້ຮັບການຫຼີ້ນກັບ, ແລະຂ້າພະເຈົ້າໄດ້ເວົ້າກ່ຽວກັບການສິ້ນ, ນີ້ແມ່ນສິ່ງທີ່ເອີ້ນວ່າ VICReg, variance-invariance-covariance normalization. ມັນຢູ່ໃນເອກະສານແຍກຕ່າງຫາກທີ່ຈັດພີມມາຢູ່ ICLR, ແລະ ມັນໄດ້ຖືກໃສ່ໃນ arXiv ປະມານຫນຶ່ງປີກ່ອນ, 2021. ແລະແນວຄວາມຄິດຢູ່ທີ່ນັ້ນແມ່ນເພື່ອຂະຫຍາຍຂໍ້ມູນຂ່າວສານສູງສຸດ. ແລະ​ແນວ​ຄວາມ​ຄິດ​ທີ່​ແທ້​ຈິງ​ໄດ້​ອອກ​ມາ​ຈາກ​ເຈ້ຍ​ກ່ອນ​ຫນ້າ​ນີ້​ໂດຍ​ກຸ່ມ​ຂອງ​ຂ້າ​ພະ​ເຈົ້າ​ເອີ້ນ​ວ່າ ຝາແຝດ Barlow. ທ່ານຂະຫຍາຍເນື້ອໃນຂໍ້ມູນຂອງ vector ອອກຈາກຕາຫນ່າງ neural ໂດຍ, ໂດຍພື້ນຖານແລ້ວ, ສົມມຸດວ່າການເພິ່ງພາອາໄສພຽງແຕ່ລະຫວ່າງຕົວແປແມ່ນ correlation, linear dependency. ດັ່ງນັ້ນ, ຖ້າທ່ານສົມມຸດວ່າການເພິ່ງພາອາໄສອັນດຽວທີ່ເປັນໄປໄດ້ລະຫວ່າງຄູ່ຂອງຕົວແປ, ຫຼືລະຫວ່າງຕົວແປໃນລະບົບຂອງເຈົ້າ, ແມ່ນຄວາມສໍາພັນລະຫວ່າງຄູ່ຂອງມູນຄ່າ, ເຊິ່ງເປັນການປະມານທີ່ຫຍາບຄາຍທີ່ສຸດ, ຫຼັງຈາກນັ້ນທ່ານສາມາດຂະຫຍາຍເນື້ອຫາຂໍ້ມູນອອກຈາກລະບົບຂອງເຈົ້າສູງສຸດ. ໂດຍໃຫ້ແນ່ໃຈວ່າຕົວແປທັງຫມົດມີຄວາມແຕກຕ່າງກັນທີ່ບໍ່ແມ່ນສູນ - ໃຫ້ເວົ້າວ່າ, ການປ່ຽນແປງຫນຶ່ງ, ມັນບໍ່ສໍາຄັນວ່າມັນເປັນແນວໃດ - ແລະຫຼັງຈາກນັ້ນໃຫ້ມັນກັບຄືນ, ຂະບວນການດຽວກັນທີ່ເອີ້ນວ່າ whitening, ມັນບໍ່ແມ່ນໃຫມ່. ບັນຫານີ້ແມ່ນວ່າທ່ານສາມາດມີຄວາມເພິ່ງພາອາໄສທີ່ສັບສົນຫຼາຍລະຫວ່າງກຸ່ມຕົວແປຫຼືແມ້ກະທັ້ງຄູ່ຂອງຕົວແປທີ່ບໍ່ຂຶ້ນກັບເສັ້ນ, ແລະພວກມັນບໍ່ສະແດງຢູ່ໃນຄວາມກ່ຽວຂ້ອງ. ດັ່ງນັ້ນ, ສໍາລັບຕົວຢ່າງ, ຖ້າທ່ານມີຕົວແປສອງຕົວແປ, ແລະຈຸດທັງຫມົດຂອງສອງຕົວແປນັ້ນຂື້ນຢູ່ໃນປະເພດຂອງກ້ຽວວຽນ, ມີຄວາມເພິ່ງພາທີ່ເຂັ້ມແຂງຫຼາຍລະຫວ່າງສອງຕົວແປ, ແມ່ນບໍ? ແຕ່ໃນຄວາມເປັນຈິງ, ຖ້າທ່ານຄິດໄລ່ຄວາມກ່ຽວຂ້ອງກັນລະຫວ່າງສອງຕົວແປ, ພວກມັນບໍ່ກ່ຽວຂ້ອງກັນ. ດັ່ງນັ້ນ, ນີ້ແມ່ນຕົວຢ່າງທີ່ເນື້ອໃນຂໍ້ມູນຂອງຕົວແປທັງສອງນີ້ແມ່ນມີຂະຫນາດນ້ອຍຫຼາຍ, ມັນເປັນພຽງແຕ່ປະລິມານຫນຶ່ງເພາະວ່າມັນເປັນຕໍາແຫນ່ງຂອງທ່ານຢູ່ໃນກ້ຽວວຽນ. ພວກມັນບໍ່ມີຄວາມກ່ຽວຂ້ອງກັນ, ດັ່ງນັ້ນທ່ານຄິດວ່າທ່ານມີຂໍ້ມູນຫຼາຍຢ່າງທີ່ອອກມາຈາກຕົວແປສອງຕົວແປນັ້ນ, ໃນຕົວຈິງແລ້ວທ່ານບໍ່ມີ, ທ່ານພຽງແຕ່ມີ, ທ່ານຮູ້, ທ່ານສາມາດຄາດຄະເນຫນຶ່ງໃນຕົວແປຈາກຕົວແປອື່ນ, ທີ່ສໍາຄັນ. ດັ່ງນັ້ນ, ມັນສະແດງໃຫ້ເຫັນວ່າພວກເຮົາມີພຽງແຕ່ວິທີການປະມານການວັດແທກເນື້ອຫາຂໍ້ມູນເທົ່ານັ້ນ.

ZDNet: ແລະນັ້ນແມ່ນສິ່ງໜຶ່ງທີ່ເຈົ້າຕ້ອງເຮັດວຽກໃນຕອນນີ້? ນີ້ແມ່ນຄໍາຖາມທີ່ໃຫຍ່ກວ່າວ່າພວກເຮົາຈະຮູ້ໄດ້ແນວໃດເມື່ອພວກເຮົາຂະຫຍາຍເນື້ອຫາຂໍ້ມູນໃຫ້ສູງສຸດ?

YL:  ຫຼືວ່າພຣັອກຊີທີ່ພວກເຮົາກໍາລັງໃຊ້ສໍາລັບການນີ້ດີພຽງພໍສໍາລັບວຽກງານທີ່ພວກເຮົາຕ້ອງການ. ໃນຄວາມເປັນຈິງ, ພວກເຮົາເຮັດສິ່ງນີ້ຕະຫຼອດເວລາໃນການຮຽນຮູ້ເຄື່ອງຈັກ. ຫນ້າທີ່ຄ່າໃຊ້ຈ່າຍທີ່ພວກເຮົາຫຼຸດລົງແມ່ນບໍ່ເຄີຍເປັນຕົວທີ່ພວກເຮົາຕ້ອງການຫຼຸດຫນ້ອຍທີ່ສຸດ. ດັ່ງນັ້ນ, ສໍາລັບການຍົກຕົວຢ່າງ, ທ່ານຕ້ອງການທີ່ຈະເຮັດການຈັດປະເພດ, okay? ຟັງຊັນຄ່າໃຊ້ຈ່າຍທີ່ທ່ານຕ້ອງການທີ່ຈະຫຼຸດຫນ້ອຍລົງໃນເວລາທີ່ທ່ານຝຶກອົບຮົມການຈັດປະເພດແມ່ນຈໍານວນຄວາມຜິດພາດທີ່ຕົວຈັດປະເພດກໍາລັງເຮັດ. ແຕ່ນັ້ນແມ່ນຫນ້າທີ່ບໍ່ແຕກຕ່າງກັນ, ຄ່າໃຊ້ຈ່າຍທີ່ຫນ້າຢ້ານທີ່ທ່ານບໍ່ສາມາດຫຼຸດຜ່ອນໄດ້ເພາະວ່າເຈົ້າຮູ້ວ່າເຈົ້າຈະປ່ຽນນ້ໍາຫນັກຂອງເສັ້ນປະສາດຂອງເຈົ້າ, ບໍ່ມີຫຍັງຈະປ່ຽນແປງຈົນກ່ວາຫນຶ່ງໃນຕົວຢ່າງເຫຼົ່ານັ້ນໄດ້ປ່ຽນການຕັດສິນໃຈ, ແລະຫຼັງຈາກນັ້ນກະໂດດ. ໃນຄວາມຜິດພາດ, ໃນທາງບວກຫຼືທາງລົບ.

ZDNet: ດັ່ງນັ້ນທ່ານມີຕົວແທນທີ່ເປັນຫນ້າທີ່ຈຸດປະສົງທີ່ທ່ານສາມາດເວົ້າໄດ້ແນ່ນອນ, ພວກເຮົາສາມາດໄຫຼ gradients ຂອງສິ່ງນີ້ໄດ້.

YL: ຖືກ​ຕ້ອງ. ດັ່ງນັ້ນປະຊາຊົນໃຊ້ການສູນເສຍຂ້າມ entropy ນີ້, ຫຼື SOFTMAX, ທ່ານມີຊື່ຫຼາຍສໍາລັບມັນ, ແຕ່ວ່າມັນເປັນສິ່ງດຽວກັນ. ແລະໂດຍພື້ນຖານແລ້ວມັນເປັນການປະມານກ້ຽງຂອງຈໍານວນຂອງຄວາມຜິດພາດທີ່ລະບົບເຮັດໃຫ້, ບ່ອນທີ່ກ້ຽງແມ່ນເຮັດໄດ້ໂດຍພື້ນຖານ, ຄໍານຶງເຖິງຄະແນນທີ່ລະບົບໃຫ້ແຕ່ລະປະເພດ.

ZDNet: ມີອັນໃດທີ່ພວກເຮົາບໍ່ໄດ້ກວມເອົາທີ່ເຈົ້າຕ້ອງການໃຫ້ກວມເອົາ?

YL: ມັນອາດຈະເປັນການເນັ້ນຫນັກໃສ່ຈຸດຕົ້ນຕໍ. ຂ້າພະເຈົ້າຄິດວ່າລະບົບ AI ຈໍາເປັນຕ້ອງສາມາດໃຫ້ເຫດຜົນ, ແລະຂະບວນການສໍາລັບການນີ້ທີ່ຂ້າພະເຈົ້າສະຫນັບສະຫນູນແມ່ນຫຼຸດຜ່ອນຈຸດປະສົງບາງຢ່າງກ່ຽວກັບຕົວແປບາງອັນ. ທີ່ອະນຸຍາດໃຫ້ລະບົບການວາງແຜນແລະເຫດຜົນ. ຂ້າພະເຈົ້າຄິດວ່າພວກເຮົາຄວນຈະປະຖິ້ມໂຄງຮ່າງການທີ່ເປັນໄປໄດ້ເພາະວ່າມັນເປັນເລື່ອງທີ່ຫຍຸ້ງຍາກໃນເວລາທີ່ພວກເຮົາຕ້ອງການເຮັດສິ່ງຕ່າງໆເຊັ່ນການຈັບພາບທີ່ເພິ່ງພາອາໄສລະຫວ່າງຕົວແປທີ່ມີມິຕິລະດັບສູງ, ຢ່າງຕໍ່ເນື່ອງ. ແລະຂ້ອຍກໍາລັງຊຸກຍູ້ໃຫ້ປະຖິ້ມແບບຈໍາລອງການຜະລິດເພາະວ່າລະບົບຈະຕ້ອງອຸທິດຊັບພະຍາກອນຫຼາຍເກີນໄປໃນການຄາດຄະເນສິ່ງທີ່ຍາກທີ່ຈະຄາດຄະເນແລະອາດຈະບໍລິໂພກຊັບພະຍາກອນຫຼາຍເກີນໄປ. ແລະນັ້ນແມ່ນຂ້ອນຂ້າງຫຼາຍ. ນັ້ນແມ່ນຂໍ້ຄວາມຕົ້ນຕໍ, ຖ້າທ່ານຕ້ອງການ. ແລະຫຼັງຈາກນັ້ນສະຖາປັດຕະຍະກໍາໂດຍລວມ. ຫຼັງຈາກນັ້ນ, ມີການຄາດເດົາເຫຼົ່ານັ້ນກ່ຽວກັບລັກສະນະຂອງສະຕິແລະພາລະບົດບາດຂອງ configurator, ແຕ່ນີ້ແມ່ນການຄາດເດົາຢ່າງແທ້ຈິງ.

ZDNet: ພວກເຮົາຈະໄປເຖິງຄັ້ງຕໍ່ໄປ. ຂ້າ​ພະ​ເຈົ້າ​ຈະ​ຖາມ​ທ່ານ​ວ່າ​, ທ່ານ​ຈະ​ມາດ​ຕະ​ຖານ​ສິ່ງ​ນີ້​ແນວ​ໃດ​? ແຕ່ຂ້ອຍເດົາວ່າເຈົ້າຢູ່ໄກຈາກການຈັດດັດຊະນີດຽວນີ້ບໍ?

YL: ບໍ່​ຈໍາ​ເປັນ​ວ່າ​ໄກ​ໃນ, ຈັດ​ລຽງ​ລໍາ​ດັບ​ຂອງ, ສະ​ບັບ​ງ່າຍ​ດາຍ. ທ່ານສາມາດເຮັດສິ່ງທີ່ທຸກຄົນເຮັດໃນການຄວບຄຸມຫຼືການຮຽນຮູ້ເສີມ, ເຊິ່ງແມ່ນ, ທ່ານໄດ້ຝຶກອົບຮົມການຫຼິ້ນເກມ Atari ຫຼືບາງສິ່ງບາງຢ່າງເຊັ່ນນັ້ນຫຼືບາງເກມອື່ນໆທີ່ມີຄວາມບໍ່ແນ່ນອນໃນມັນ.

ZDNet: ຂໍຂອບໃຈສໍາລັບການໃຊ້ເວລາຂອງທ່ານ, Yann.