મેટાના એઆઈ ગુરુ લેકન: આજના મોટાભાગના એઆઈ અભિગમો ક્યારેય સાચી બુદ્ધિ તરફ દોરી જશે નહીં

ZDNet: અમે મોટાભાગના રોકાણકારોના રોકાણની ક્ષિતિજની બહાર કહીએ છીએ.

YL: તે સાચું છે. તેથી, પ્રશ્ન એ છે કે, પ્રદર્શન ઇચ્છિત સ્તરે પહોંચે તે પહેલાં લોકો ધીરજ ગુમાવશે અથવા પૈસા સમાપ્ત થશે.

ZDNet: તમે મોડેલમાં પસંદ કરેલા ઘટકોમાંથી તમે શા માટે પસંદ કર્યા તે વિશે કહેવા માટે કંઈ રસપ્રદ છે? કારણ કે તમે કેનેથ ક્રેકને ટાંકો છો [1943,સમજૂતીની પ્રકૃતિ], અને તમે બ્રાયસન અને હો [1969, લાગુ શ્રેષ્ઠ નિયંત્રણ], અને હું આતુર છું કે તમે આ પ્રભાવોથી શા માટે શરૂઆત કરી, જો તમે ખાસ કરીને માનતા હોવ કે આ લોકોએ તેઓ જે કર્યું છે ત્યાં સુધી તેને ખીલવ્યું હતું. તમે ત્યાં કેમ શરૂઆત કરી?

YL: ઠીક છે, મને નથી લાગતું, ચોક્કસપણે, તેમની પાસે બધી વિગતો ખીલી હતી. તેથી, બ્રાયસન અને હો, આ એક પુસ્તક છે જે મેં 1987 માં વાંચ્યું હતું જ્યારે હું ટોરોન્ટોમાં જ્યોફ્રી હિન્ટન સાથે પોસ્ટડોક હતો. પરંતુ જ્યારે હું મારી પીએચડી લખી રહ્યો હતો ત્યારે કામની આ લાઇન વિશે હું અગાઉથી જાણતો હતો, અને આવશ્યકપણે શ્રેષ્ઠ નિયંત્રણ અને બેકપ્રોપ વચ્ચે જોડાણ કર્યું હતું. જો તમે ખરેખર બનવા માંગતા હો, તો તમે જાણો છો, અન્ય એક શ્મિધુબર, તમે કહેશો કે બેકપ્રોપના વાસ્તવિક શોધકર્તાઓ વાસ્તવમાં શ્રેષ્ઠ નિયંત્રણ સિદ્ધાંતવાદીઓ હેનરી જે. કેલી, આર્થર બ્રાયસન અને કદાચ લેવ પોન્ટ્રીઆગિન પણ હતા, જેઓ શ્રેષ્ઠ નિયંત્રણના રશિયન સિદ્ધાંતવાદી છે. 50 ના દાયકાના અંતમાં. 

તેથી, તેઓએ તે શોધી કાઢ્યું, અને વાસ્તવમાં, તમે ખરેખર આનું મૂળ જોઈ શકો છો, તેની નીચેનું ગણિત, લેગ્રાંગિયન મિકેનિક્સ છે. તેથી તમે વાસ્તવમાં યુલર અને લેગ્રેન્જ પર પાછા જઈ શકો છો, અને ખરેખર, લેગ્રેન્જિયન ક્લાસિકલ મિકેનિક્સની તેમની વ્યાખ્યામાં આનો એક પ્રકારનો ઘોંઘાટ શોધી શકો છો. તેથી, શ્રેષ્ઠ નિયંત્રણના સંદર્ભમાં, આ લોકોને જે રસ હતો તે મૂળભૂત રીતે રોકેટ ટ્રેજેકટ્રીઝની ગણતરી હતી. તમે જાણો છો, આ પ્રારંભિક અવકાશ યુગ હતો. અને જો તમારી પાસે રોકેટનું મોડેલ હોય, તો તે તમને જણાવે છે કે અહીં રોકેટની સ્થિતિ શું છે t, અને અહીં હું જે ક્રિયા કરવા જઈ રહ્યો છું તે છે, તેથી, વિવિધ પ્રકારના થ્રસ્ટ અને એક્ટ્યુએટર, અહીં રોકેટની સ્થિતિ છે t+1.

ZDNet: સ્ટેટ-એક્શન મોડલ, મૂલ્ય મોડલ.

YL: તે સાચું છે, નિયંત્રણનો આધાર. તેથી, હવે તમે આદેશોના ક્રમની કલ્પના કરીને તમારા રોકેટના શૂટિંગનું અનુકરણ કરી શકો છો, અને પછી તમારી પાસે અમુક ખર્ચ કાર્ય છે, જે રોકેટનું તેના લક્ષ્ય સુધીનું અંતર છે, સ્પેસ સ્ટેશન અથવા તે ગમે તે હોય. અને પછી અમુક પ્રકારના ગ્રેડિયન્ટ વંશ દ્વારા, તમે આકૃતિ કરી શકો છો, હું મારી ક્રિયાના ક્રમને કેવી રીતે અપડેટ કરી શકું જેથી મારું રોકેટ વાસ્તવમાં લક્ષ્યની શક્ય તેટલી નજીક આવે. અને તે સમયની પાછળ પાછળની તરફ પ્રસારિત સિગ્નલો દ્વારા આવવું પડશે. અને તે બેક-પ્રોપેગેશન, ગ્રેડિએન્ટ બેક-પ્રોપગેશન છે. તે સિગ્નલો, તેઓને લેગ્રેન્જિયન મિકેનિક્સમાં સંયોજક ચલો કહેવામાં આવે છે, પરંતુ હકીકતમાં, તે ગ્રેડિએન્ટ્સ છે. તેથી, તેઓએ બેકપ્રોપની શોધ કરી, પરંતુ તેઓને ખ્યાલ ન હતો કે આ સિદ્ધાંતનો ઉપયોગ બહુ-તબક્કાની સિસ્ટમને તાલીમ આપવા માટે થઈ શકે છે જે પેટર્નની ઓળખ અથવા તેના જેવું કંઈક કરી શકે છે. કદાચ 70 ના દાયકાના અંત સુધી, 80 ના દાયકાની શરૂઆતમાં સુધી આ ખરેખર સમજાયું ન હતું, અને પછી ખરેખર અમલમાં આવ્યું ન હતું અને 80 ના દાયકાના મધ્ય સુધી કામ કરવામાં આવ્યું ન હતું. ઠીક છે, તેથી, આ તે છે જ્યાં બેકપ્રોપ ખરેખર, પ્રકારનું, ઉપડ્યું કારણ કે લોકોએ બતાવ્યું કે અહીં કોડની કેટલીક લાઇન છે કે તમે ન્યુરલ નેટ, એન્ડ ટુ એન્ડ, મલ્ટિલેયરને તાલીમ આપી શકો છો. અને તે પરસેપ્ટ્રોનની મર્યાદાઓને દૂર કરે છે. અને, હા, શ્રેષ્ઠ નિયંત્રણ સાથે જોડાણો છે, પરંતુ તે ઠીક છે.

ZDNet: તેથી, તે કહેવાની લાંબી રીત છે કે આ પ્રભાવો કે જેની સાથે તમે પ્રારંભ કર્યો હતો તે પાછા બેકપ્રોપ પર જઈ રહ્યા હતા, અને તે તમારા માટે પ્રારંભિક બિંદુ તરીકે મહત્વપૂર્ણ હતું?

YL: હા, પણ મને લાગે છે કે લોકો જેના વિશે થોડું ભૂલી ગયા હતા, આના પર ઘણું કામ હતું, તમે જાણો છો, 90 ના દાયકામાં અથવા તો 80 ના દાયકામાં પણ, જેમાં માઈકલ જોર્ડન [MIT ડિપાર્ટમેન્ટ ઓફ બ્રેઈન' જેવા લોકોનો સમાવેશ થાય છે. અને જ્ઞાનાત્મક વિજ્ઞાન] અને તેના જેવા લોકો કે જેઓ હવે ન્યુરલ નેટ નથી કરતા, પરંતુ તમે નિયંત્રણ માટે ન્યુરલ નેટનો ઉપયોગ કરી શકો છો અને તમે શ્રેષ્ઠ નિયંત્રણના શાસ્ત્રીય વિચારોનો ઉપયોગ કરી શકો છો. તેથી, જેને મોડલ-પ્રેડિક્ટિવ કંટ્રોલ કહેવાય છે, જેને હવે મોડલ-પ્રેડિક્ટિવ કંટ્રોલ કહેવામાં આવે છે, આ વિચાર કે જે તમે નિયંત્રિત કરવાનો પ્રયાસ કરી રહ્યાં છો તે સિસ્ટમનું સારું મોડલ હોય તો તમે ક્રિયાઓના ક્રમના પરિણામનું અનુકરણ કરી શકો છો અથવા તેની કલ્પના કરી શકો છો. અને તે જે વાતાવરણમાં છે. અને પછી ઢાળ વંશ દ્વારા, આવશ્યકપણે — આ શીખવાનું નથી, આ અનુમાન છે — તમે સમજી શકો છો કે ક્રિયાઓનો શ્રેષ્ઠ ક્રમ કયો છે જે મારા ઉદ્દેશ્યને ઘટાડી દેશે. તેથી, અનુમાન માટે સુપ્ત ચલ સાથેના ખર્ચ કાર્યનો ઉપયોગ, મને લાગે છે કે, મોટા પાયે ન્યુરલ નેટના વર્તમાન પાકો ભૂલી ગયા છે. પરંતુ તે લાંબા સમયથી મશીન લર્નિંગનું ખૂબ જ શાસ્ત્રીય ઘટક હતું. તેથી, દરેક બાયસિયન નેટ અથવા ગ્રાફિકલ મોડેલ અથવા સંભવિત ગ્રાફિકલ મોડેલ આ પ્રકારના અનુમાનનો ઉપયોગ કરે છે. તમારી પાસે એક મોડેલ છે જે ચલોના સમૂહ વચ્ચેની અવલંબનને કેપ્ચર કરે છે, તમને કેટલાક ચલોનું મૂલ્ય કહેવામાં આવે છે, અને પછી તમારે બાકીના ચલોની સંભવિત કિંમતનું અનુમાન લગાવવું પડશે. તે ગ્રાફિકલ મોડલ્સ અને બેયસિયન નેટ્સ અને તેના જેવી વસ્તુઓમાં અનુમાનનો મૂળ સિદ્ધાંત છે. અને મને લાગે છે કે મૂળભૂત રીતે તર્ક, તર્ક અને આયોજન વિશે શું હોવું જોઈએ.

ZDNet: તમે એક કબાટ Bayesian છો.

YL: હું બિન-સંભવિત બેયેશિયન છું. મેં તે મજાક પહેલા કરી હતી. હું ખરેખર થોડા વર્ષો પહેલા NeurIPS માં હતો, મને લાગે છે કે તે 2018 અથવા 2019 માં હતું, અને મને એક બાયસિયન દ્વારા વિડિયો પર પકડવામાં આવ્યો હતો જેણે મને પૂછ્યું હતું કે શું હું બેયેસિયન છું, અને મેં કહ્યું, હા, હું બેયેશિયન છું, પણ હું જો તમે ઇચ્છો તો હું બિન-સંભવિત બેયેસિયન, સૉર્ટ-ઓફ, ઊર્જા-આધારિત બેયેશિયન છું. 

ZDNet: જે ચોક્કસપણે માંથી કંઈક જેવું લાગે છે સ્ટાર ટ્રેક. તમે આ પેપરના અંતમાં ઉલ્લેખ કર્યો છે, તમે જે કલ્પના કરો છો તે સમજવા માટે ખરેખર સખત મહેનતના વર્ષો લાગશે. મને કહો કે આ ક્ષણે તે કેટલાક કાર્યમાં શું છે.

YL: તેથી, હું સમજાવું છું કે તમે પેપરમાં JEPA કેવી રીતે તાલીમ અને બિલ્ડ કરો છો. અને હું જે માપદંડની હિમાયત કરી રહ્યો છું તે માહિતી સામગ્રીને મહત્તમ બનાવવાની કેટલીક રીતો ધરાવે છે કે જે રજૂઆતોમાં ઇનપુટ વિશે છે. અને પછી બીજો એક આગાહી ભૂલને ઘટાડી રહ્યો છે. અને જો તમારી પાસે આગાહી કરનારમાં સુપ્ત ચલ છે જે આગાહી કરનારને બિન-નિશ્ચયવાદી બનવાની મંજૂરી આપે છે, તો તમારે તેની માહિતી સામગ્રીને ઘટાડીને આ સુપ્ત ચલને પણ નિયમિત કરવું પડશે. તેથી, તમારી પાસે હવે બે મુદ્દાઓ છે, જે એ છે કે તમે અમુક ન્યુરલ નેટના આઉટપુટની માહિતી સામગ્રીને કેવી રીતે મહત્તમ કરો છો, અને બીજો એ છે કે તમે કેટલાક સુપ્ત ચલની માહિતી સામગ્રીને કેવી રીતે ઘટાડી શકો છો? અને જો તમે તે બે વસ્તુઓ નહીં કરો, તો સિસ્ટમ પડી ભાંગશે. તે કંઈપણ રસપ્રદ શીખશે નહીં. તે દરેક વસ્તુને શૂન્ય ઊર્જા આપશે, એવું કંઈક, જે નિર્ભરતાનું સારું મોડેલ નથી. તે પતન-નિવારણ સમસ્યા છે જેનો હું ઉલ્લેખ કરું છું. 

અને હું તે બધી વસ્તુઓ વિશે કહું છું જે લોકોએ ક્યારેય કર્યું છે, પતન અટકાવવા માટેની પદ્ધતિઓની માત્ર બે શ્રેણીઓ છે. એક વિરોધાભાસી પદ્ધતિઓ છે, અને બીજી તે નિયમિત પદ્ધતિઓ છે. તેથી, બે ઇનપુટ્સની રજૂઆતોની માહિતી સામગ્રીને મહત્તમ કરવાનો અને સુપ્ત ચલની માહિતી સામગ્રીને ઘટાડવાનો આ વિચાર, જે નિયમિત પદ્ધતિઓનો છે. પરંતુ તે સંયુક્ત એમ્બેડિંગ આર્કિટેક્ચરમાં ઘણું કામ વિરોધાભાસી પદ્ધતિઓનો ઉપયોગ કરે છે. હકીકતમાં, તેઓ કદાચ આ ક્ષણે સૌથી વધુ લોકપ્રિય છે. તેથી, પ્રશ્ન એ છે કે તમે માહિતી સામગ્રીને કેવી રીતે માપો છો તે રીતે તમે ઑપ્ટિમાઇઝ અથવા ઘટાડી શકો છો? અને તે તે છે જ્યાં વસ્તુઓ જટિલ બની જાય છે કારણ કે આપણે ખરેખર માહિતી સામગ્રીને કેવી રીતે માપવી તે જાણતા નથી. આપણે તેનો અંદાજ લગાવી શકીએ છીએ, આપણે તેને ઉપરથી બાંધી શકીએ છીએ, આપણે તેના જેવી વસ્તુઓ કરી શકીએ છીએ. પરંતુ તેઓ વાસ્તવમાં માહિતી સામગ્રીને માપતા નથી, જે વાસ્તવમાં, અમુક અંશે સારી રીતે વ્યાખ્યાયિત પણ નથી.

ZDNet: તે શેનોનનો કાયદો નથી? તે માહિતી સિદ્ધાંત નથી? તમારી પાસે ચોક્કસ માત્રામાં એન્ટ્રોપી, સારી એન્ટ્રોપી અને ખરાબ એન્ટ્રોપી છે, અને સારી એન્ટ્રોપી એ એક સિમ્બોલ સિસ્ટમ છે જે કામ કરે છે, ખરાબ એન્ટ્રોપી એ અવાજ છે. શું તે બધું શેનોન દ્વારા ઉકેલવામાં આવતું નથી?

YL: તમે સાચા છો, પરંતુ તેની પાછળ એક મોટી ખામી છે. તમે એ અર્થમાં સાચા છો કે જો તમારી પાસે ડેટા આવી રહ્યો છે અને તમે કોઈક રીતે ડેટાને અલગ પ્રતીકોમાં પરિમાણિત કરી શકો છો, અને પછી તમે તે દરેક પ્રતીકોની સંભાવનાને માપો છો, તો તે પ્રતીકો દ્વારા વહન કરવામાં આવતી માહિતીની મહત્તમ રકમ છે. ના સંભવિત પ્રતીકોનો સરવાળો પી લોગ પી, ખરું ને? જ્યાં Pi પ્રતીકની સંભાવના છે હું - તે શેનોન એન્ટ્રોપી છે. [શેનોનનો કાયદો સામાન્ય રીતે H = – ∑ pi log pi તરીકે ઘડવામાં આવે છે.]

અહીં સમસ્યા છે, જોકે: શું છે Pi? જ્યારે પ્રતીકોની સંખ્યા ઓછી હોય અને પ્રતીકો સ્વતંત્ર રીતે દોરવામાં આવે ત્યારે તે સરળ છે. જ્યારે ઘણા પ્રતીકો અને નિર્ભરતા હોય છે, ત્યારે તે ખૂબ જ મુશ્કેલ છે. તેથી, જો તમારી પાસે બિટ્સનો ક્રમ હોય અને તમે ધારો કે બિટ્સ એકબીજાથી સ્વતંત્ર છે અને સંભાવના એક અને શૂન્ય અથવા ગમે તે વચ્ચે સમાન છે, તો તમે એન્ટ્રોપીને સરળતાથી માપી શકો છો, કોઈ વાંધો નથી. પરંતુ જો તમારી પાસે જે વસ્તુઓ આવે છે તે ઉચ્ચ-પરિમાણીય વેક્ટર છે, જેમ કે, તમે જાણો છો, ડેટા ફ્રેમ્સ અથવા આના જેવું કંઈક, તો શું છે Pi? વિતરણ શું છે? પ્રથમ તમારે તે જગ્યાનું પરિમાણ કરવું પડશે, જે ઉચ્ચ-પરિમાણીય, સતત જગ્યા છે. આને યોગ્ય રીતે કેવી રીતે માપવું તે તમને કોઈ ખ્યાલ નથી. તમે k-મીન્સ વગેરેનો ઉપયોગ કરી શકો છો. જ્યારે લોકો વિડિયો કમ્પ્રેશન અને ઇમેજ કમ્પ્રેશન કરે છે ત્યારે આ તે જ કરે છે. પરંતુ તે માત્ર એક અંદાજ છે. અને પછી તમારે સ્વતંત્રતાની ધારણાઓ કરવી પડશે. તેથી, તે સ્પષ્ટ છે કે વિડિઓમાં, ક્રમિક ફ્રેમ્સ સ્વતંત્ર નથી. ત્યાં અવલંબન છે, અને તે ફ્રેમ તમે એક કલાક પહેલાં જોયેલી બીજી ફ્રેમ પર આધાર રાખે છે, જે સમાન વસ્તુનું ચિત્ર હતું. તેથી, તમે જાણો છો, તમે માપી શકતા નથી Pi. માપવા માટે Pi, તમારી પાસે મશીન લર્નિંગ સિસ્ટમ હોવી જોઈએ જે આગાહી કરવાનું શીખે છે. અને તેથી તમે પાછલી સમસ્યા પર પાછા ફરો. તેથી, તમે આવશ્યકપણે, માત્ર માહિતીના માપનો અંદાજ લગાવી શકો છો. 

મને વધુ નક્કર ઉદાહરણ લેવા દો. એક એલ્ગોરિધમ કે જેની સાથે આપણે રમી રહ્યા છીએ, અને મેં તેના વિશે વાત કરી છે, આ વસ્તુ VICReg કહેવાય છે, variance-invariance-covariance નિયમિતીકરણ. તે એક અલગ પેપરમાં છે જે ICLR પર પ્રકાશિત થયું હતું, અને તે arXiv પર મૂકવામાં આવ્યું હતું લગભગ એક વર્ષ પહેલા, 2021. અને ત્યાંનો વિચાર માહિતીને મહત્તમ કરવાનો છે. અને આ વિચાર વાસ્તવમાં મારા જૂથ દ્વારા બોલાવવામાં આવેલા અગાઉના પેપરમાંથી આવ્યો હતો બાર્લો ટ્વિન્સ. મૂળભૂત રીતે, ચલ વચ્ચેની એકમાત્ર અવલંબન સહસંબંધ, રેખીય અવલંબન છે એમ ધારીને તમે ન્યુરલ નેટમાંથી બહાર આવતા વેક્ટરની માહિતી સામગ્રીને મહત્તમ કરો છો. તેથી, જો તમે ધારો છો કે ચલોની જોડી વચ્ચે અથવા તમારી સિસ્ટમમાં ચલોની વચ્ચે એકમાત્ર નિર્ભરતા શક્ય છે, તે કિંમતી વસ્તુઓની જોડી વચ્ચેનો સહસંબંધ છે, જે અત્યંત રફ અંદાજ છે, તો પછી તમે તમારી સિસ્ટમમાંથી આવતી માહિતી સામગ્રીને મહત્તમ કરી શકો છો. બધા ચલોમાં બિન-શૂન્ય ભિન્નતા છે તેની ખાતરી કરીને — ચાલો કહીએ કે, એક ભિન્નતા, તે શું છે તેનાથી કોઈ ફરક પડતો નથી — અને પછી તેને બેક-કોરિલેટીંગ કરો, તે જ પ્રક્રિયા જેને વ્હાઈટિંગ કહેવામાં આવે છે, તે નવી પણ નથી. આની સાથે સમસ્યા એ છે કે તમારી પાસે ચલોના જૂથો અથવા તો વેરીએબલ્સની માત્ર જોડી વચ્ચે અત્યંત જટિલ નિર્ભરતા હોઈ શકે છે જે રેખીય અવલંબન નથી, અને તે સહસંબંધોમાં દેખાતા નથી. તેથી, ઉદાહરણ તરીકે, જો તમારી પાસે બે ચલો હોય, અને તે બે ચલોના તમામ બિંદુઓ અમુક પ્રકારના સર્પાકારમાં લાઇન કરે, તો તે બે ચલો વચ્ચે ખૂબ જ મજબૂત અવલંબન છે, ખરું ને? પરંતુ હકીકતમાં, જો તમે તે બે ચલો વચ્ચેના સહસંબંધની ગણતરી કરો છો, તો તે સહસંબંધિત નથી. તેથી, અહીં એક ઉદાહરણ છે જ્યાં આ બે ચલોની માહિતી સામગ્રી ખરેખર ખૂબ જ નાની છે, તે માત્ર એક જ જથ્થો છે કારણ કે તે સર્પાકારમાં તમારી સ્થિતિ છે. તેઓ અસંબંધિત છે, તેથી તમને લાગે છે કે તમારી પાસે તે બે ચલોમાંથી ઘણી બધી માહિતી બહાર આવી રહી છે જ્યારે હકીકતમાં તમારી પાસે નથી, તમારી પાસે માત્ર છે, તમે જાણો છો, તમે આવશ્યકપણે, અન્યમાંથી એક ચલની આગાહી કરી શકો છો. તેથી, તે દર્શાવે છે કે માહિતી સામગ્રીને માપવા માટે અમારી પાસે માત્ર ખૂબ જ અંદાજિત રીતો છે.

ZDNet: અને તેથી તે વસ્તુઓમાંથી એક છે કે જેના પર તમારે હવે આ સાથે કામ કરવું પડશે? આ સૌથી મોટો પ્રશ્ન છે કે જ્યારે આપણે માહિતી સામગ્રીને મહત્તમ અને ઘટાડી રહ્યા છીએ ત્યારે આપણે કેવી રીતે જાણી શકીએ?

YL:  અથવા અમે આ માટે જે પ્રોક્સીનો ઉપયોગ કરી રહ્યા છીએ તે કાર્ય માટે પૂરતું સારું છે કે નહીં. હકીકતમાં, અમે મશીન લર્નિંગમાં આ બધું કરીએ છીએ. અમે જે ખર્ચ કાર્યોને ઘટાડીએ છીએ તે ક્યારેય એવા નથી કે જેને આપણે ખરેખર ઘટાડવા માંગીએ છીએ. તેથી, ઉદાહરણ તરીકે, તમે વર્ગીકરણ કરવા માંગો છો, ઠીક છે? જ્યારે તમે ક્લાસિફાયરને તાલીમ આપો છો ત્યારે તમે જે ખર્ચ કાર્ય ઘટાડવા માંગો છો તે વર્ગીકૃત કરનાર ભૂલોની સંખ્યા છે. પરંતુ તે એક બિન-વિભેદક, ભયાનક ખર્ચ કાર્ય છે જેને તમે ઘટાડી શકતા નથી કારણ કે તમે જાણો છો કે તમે તમારા ન્યુરલ નેટના વજનમાં ફેરફાર કરવા જઈ રહ્યા છો, જ્યાં સુધી તેમાંથી એક નમૂના તેના નિર્ણયને ફ્લિપ ન કરે ત્યાં સુધી કંઈપણ બદલાશે નહીં, અને પછી એક કૂદકો ભૂલમાં, હકારાત્મક અથવા નકારાત્મક.

ZDNet: તેથી તમારી પાસે એક પ્રોક્સી છે જે એક ઉદ્દેશ્ય કાર્ય છે જે તમે ચોક્કસપણે કહી શકો છો, અમે ચોક્કસપણે આ વસ્તુના ગ્રેડિએન્ટ્સને પ્રવાહિત કરી શકીએ છીએ.

YL: તે સાચું છે. તેથી લોકો આ ક્રોસ-એન્ટ્રોપી લોસ, અથવા સોફ્ટમેક્સનો ઉપયોગ કરે છે, તમારી પાસે તેના માટે ઘણા નામ છે, પરંતુ તે એક જ વસ્તુ છે. અને તે મૂળભૂત રીતે સિસ્ટમ દ્વારા કરવામાં આવતી ભૂલોની સંખ્યાનો સરળ અંદાજ છે, જ્યાં સ્મૂથિંગ કરવામાં આવે છે, મૂળભૂત રીતે, સિસ્ટમ દરેક કેટેગરીને જે સ્કોર આપે છે તેને ધ્યાનમાં રાખીને.

ZDNet: શું એવી કોઈ વસ્તુ છે જે અમે આવરી લીધી નથી જે તમે આવરી લેવા માંગો છો?

YL: તે કદાચ મુખ્ય મુદ્દાઓ પર ભાર મૂકે છે. મને લાગે છે કે AI પ્રણાલીઓએ તર્ક કરવા માટે સક્ષમ બનવાની જરૂર છે, અને આ માટે હું જે પ્રક્રિયાની હિમાયત કરી રહ્યો છું તે કેટલાક સુપ્ત ચલના સંદર્ભમાં કેટલાક ઉદ્દેશ્યને ઘટાડી રહી છે. તે સિસ્ટમોને યોજના અને તર્ક માટે પરવાનગી આપે છે. મને લાગે છે કે આપણે સંભવિત માળખું છોડી દેવું જોઈએ કારણ કે જ્યારે આપણે ઉચ્ચ-પરિમાણીય, સતત ચલો વચ્ચે કેપ્ચર ડિપેન્ડન્સી જેવી વસ્તુઓ કરવા માંગીએ છીએ ત્યારે તે અવ્યવસ્થિત છે. અને હું જનરેટિવ મોડલ્સને છોડી દેવાની હિમાયત કરું છું કારણ કે સિસ્ટમને એવી વસ્તુઓની આગાહી કરવા માટે ઘણા બધા સંસાધનો ફાળવવા પડશે કે જેની આગાહી કરવી ખૂબ મુશ્કેલ છે અને કદાચ વધુ પડતા સંસાધનોનો ઉપયોગ કરે છે. અને તે ખૂબ જ છે. જો તમે ઇચ્છો તો તે મુખ્ય સંદેશાઓ છે. અને પછી એકંદર આર્કિટેક્ચર. પછી ચેતનાની પ્રકૃતિ અને રૂપરેખાકારની ભૂમિકા વિશે તે અટકળો છે, પરંતુ આ ખરેખર અનુમાન છે.

ZDNet: અમે તેને આગલી વખતે મળીશું. હું તમને પૂછવા જઈ રહ્યો હતો કે તમે આ વસ્તુને કેવી રીતે બેન્ચમાર્ક કરો છો? પરંતુ હું માનું છું કે તમે હમણાં બેન્ચમાર્કિંગથી થોડા આગળ છો?

YL: જરૂરી નથી કે તે દૂર, સૉર્ટ-ઓફ, સરળ સંસ્કરણોમાં હોય. તમે એ કરી શકો છો જે દરેક વ્યક્તિ નિયંત્રણ અથવા મજબૂતીકરણના શિક્ષણમાં કરે છે, એટલે કે, તમે એટારી રમતો અથવા તેના જેવું કંઈક અથવા અન્ય કોઈ રમત રમવાની તાલીમ આપો છો જેમાં કેટલીક અનિશ્ચિતતા હોય છે.

ZDNet: તમારા સમય માટે આભાર, યાન.