Keep Calm and Stay Smart
04:29
Meta's AI guru LeCun: Yawancin hanyoyin AI na yau ba za su taɓa haifar da hankali na gaskiya ba
"Ina tsammanin tsarin AI yana buƙatar yin tunani," in ji Yann LeCun, babban masanin kimiyyar AI na Meta. Shahararrun hanyoyin AI na yau irin su Transformers, waɗanda da yawa daga cikinsu suna gina kan aikinsa na majagaba a fagen, ba za su isa ba. "Dole ne ku koma baya ku ce, To, mun gina wannan tsani, amma muna so mu je duniyar wata, kuma babu yadda za a yi wannan tsani ya kai mu wurin," in ji LeCun.
Yan LeCun, babban masanin kimiyyar AI Meta Properties, wanda ya mallaki Facebook, Instagram, da WhatsApp, da alama zai iya kashe mutane da yawa a cikin filinsa.
Tare da aikawa a watan Yuni na wani yanki na tunani akan uwar garken Buɗe Bita, LeCun ya ba da cikakken bayyani game da tsarin da yake tunanin yana da alƙawarin cimma matakin basirar ɗan adam a cikin injuna.
Popular a yanzu
An bayyana idan ba a bayyana shi a cikin takarda ba shine hujjar cewa yawancin manyan ayyukan yau a cikin AI ba za su taɓa iya cimma burin matakin ɗan adam ba.
A wata tattaunawa da suka yi da ZDNet ta hanyar Zuƙowa, LeCun ya bayyana a sarari cewa yana kallo tare da babban shakku da yawa daga cikin mafi nasarar hanyoyin bincike a cikin zurfin koyo a halin yanzu.
"Ina tsammanin suna da mahimmanci amma ba su isa ba," in ji wanda ya ci kyautar Turing ZDNet na neman takwarorinsa.
Waɗannan sun haɗa da manyan nau'ikan harshe kamar GPT-3 na tushen Transformer da ire-iren su. Kamar yadda LeCun ya siffanta shi, masu sadaukarwa na Transformer sun yi imani, "Muna ba da alama ga komai, kuma muna horar da manya.samfura don yin tsinkaya mai ma'ana, kuma ko ta yaya AI zai fito daga wannan. "
"Ba su yi kuskure ba," in ji shi, "ta ma'anar cewa hakan na iya zama wani bangare na tsarin fasaha na gaba, amma ina tsammanin ya ɓace muhimman abubuwa."
Hakanan: LeCun na Meta's AI yana bincika iyakar kuzarin koyo mai zurfi
Wani abin mamaki ne na abin da ya bayyana yana aiki yana fitowa daga masanin wanda ya kammala amfani da hanyoyin sadarwa na juzu'i, dabarar da ta yi tasiri sosai a cikin shirye-shiryen ilmantarwa mai zurfi.
LeCun yana ganin lahani da iyakoki a cikin sauran fannonin da suka yi nasara sosai na horo.
Ƙarfafa koyon ba zai taɓa isa ba, in ji shi. Masu bincike irin su David Silver na DeepMind, wanda ya ɓullo da shirin AlphaZero wanda ya ƙware Chess, Shogi da Go, suna mai da hankali kan shirye-shiryen da ke da “tushen aiki sosai,” in ji LeCun, amma “mafi yawan koyo da muke yi, ba mu yi ba. yi ta hanyar aiwatar da ayyuka, muna yin shi ta hanyar lura. "
Lecun, mai shekaru 62, ta fuskar nasarorin shekarun da suka gabata, duk da haka ya bayyana gaggawar fuskantar abin da yake ganin su ne makafi da wasu da dama ke garzayawa da su, da kuma kokarin lallashin filin nasa ta hanyar da yake ganin ya kamata abubuwa su bi.
Popular a yanzu
"Muna ganin da'awar da yawa game da abin da ya kamata mu yi don ciyar da gaba zuwa matakin AI," in ji shi. "Kuma akwai ra'ayoyin da nake tsammanin ba daidai ba ne."
Lecun ya ce: “Ba mu kai matakin da na’urorinmu masu hankali suke da hankali ba kamar kyanwa,” in ji Lecun. "To, me ya sa ba za mu fara can ba?"
Ya yi watsi da imaninsa na farko wajen yin amfani da hanyoyin sadarwa na samarwa a cikin abubuwa kamar tsinkayar firam na gaba a cikin bidiyo. "Gaskiya ne gaba daya," in ji shi.
LeCun ya yi tir da waɗanda ya kira "masu ƙima na addini," waɗanda "suna tunanin ka'idar yiwuwar ita ce kawai tsarin da za ku iya amfani da shi don bayyana koyan na'ura."
Hanyar ƙididdiga zalla ba ta da ƙarfi, in ji shi. “Yana da yawa a nemi tsarin duniya ya zama mai yiwuwa gaba ɗaya; ba mu san yadda za mu yi ba.”
Ba wai kawai masana kimiyya ba, amma masana'antu AI na buƙatar zurfin tunani, in ji LeCun. Tarin motar da ke tuka kanta, masu farawa irin su Wayve, sun kasance "kadan sun yi kyakkyawan fata," in ji shi, ta hanyar tunanin za su iya "jefa bayanai a" manyan cibiyoyin sadarwa "kuma za ku iya koyan komai sosai."
"Ka sani, ina tsammanin yana yiwuwa gaba ɗaya mu sami motoci masu cin gashin kansu guda biyar ba tare da hankali ba," in ji shi, yana nufin "ADAS," ci-gaba tsarin taimakon direba sharuddan tuƙi, "amma za ku yi aikin injiniyan jahannama daga ciki."
Irin wannan fasahar tuƙi da ta wuce gona da iri za ta zama wani abu mai banƙyama da ɓarna kamar yadda duk shirye-shiryen hangen nesa na kwamfuta waɗanda aka yi amfani da su ta hanyar zurfafa ilmantarwa, ya yi imani.
"A ƙarshe, za a sami ƙarin gamsuwa kuma mai yiwuwa mafi kyawun mafita wanda ya haɗa da tsarin da ke yin kyakkyawan aiki na fahimtar yadda duniya ke aiki."
Popular a yanzu
A kan hanyar, LeCun yana ba da wasu ra'ayoyi masu banƙyama game da manyan masu sukarsa, irin su farfesa na NYU Gary Marcus - "bai taba ba da gudummawa ga AI ba" - da Jürgen Schmidhuber, babban darektan Cibiyar Dalle Molle don Bincike na Ƙwararrun Ƙwararru - "Yana da mai sauqin yin tuta.”
Bayan sukar, mafi mahimmancin batu da LeCun ya yi shi ne cewa wasu matsaloli na asali suna fuskantar duk AI, musamman, yadda ake auna bayanai.
"Dole ku koma baya ku ce, To, mun gina wannan tsani, amma muna son zuwa duniyar wata, kuma babu yadda za a yi wannan tsani ya kai mu wurin," in ji LeCun na sha'awar sa na sake tunani. na asali Concepts. "A gaskiya, abin da nake rubutawa a nan shi ne, muna buƙatar gina rokoki, ba zan iya ba ku cikakkun bayanai game da yadda muke kera rokoki ba, amma ga mahimman ka'idoji."
Takardar, da tunanin LeCun a cikin hira, za a iya fahimtar su da kyau ta hanyar karanta hirar LeCun a farkon wannan shekara tare da ZDNet wanda a cikinsa ya yi jayayya don ilmantarwa mai kula da kai na tushen kuzari a matsayin hanyar ci gaba don ilmantarwa mai zurfi. Waɗancan tunani suna ba da ma'anar ainihin hanyar abin da yake fatan ginawa a matsayin madadin abubuwan da yake iƙirarin ba zai kai ga ƙarshe ba.
Abin da ke biyo baya shi ne rubutun tambayoyin da aka gyara a ɗan sauƙi.
ZDNet: Taken tattaunawar mu ita ce wannan takarda, "Hanya zuwa ga na'ura mai cin gashin kansa," na wane nau'i na 0.9.2 ne na yanzu, eh?
Yan LeCun: Ee, na yi la'akari da wannan, nau'in, takardar aiki. Don haka, na buga shi a Buɗe Bita, ina jiran mutane su yi tsokaci da shawarwari, watakila ƙarin nassoshi, sannan zan fitar da sigar da aka sake dubawa.
Popular a yanzu
ZDNet: Na ga cewa Juergen Schmidhuber ya riga ya ƙara wasu sharhi zuwa Buɗe Bita.
YL: To, eh, yakan yi. Na buga daya daga cikin takardunsa a can cikin takarda ta. Ina ganin bahasin da ya yi a shafukan sada zumunta wanda a 1991 ya kirkiro duk wadannan abubuwa, kamar yadda ya yi a wasu lokuta, ba haka lamarin yake ba. Ina nufin, yana da sauƙin yidasa tuta, kuma zuwa, irin-na, rubuta ra'ayi ba tare da wani gwaji ba, ba tare da wata ka'ida ba, kawai bayar da shawarar cewa zaku iya yin hakan ta wannan hanyar. Amma, ka sani, akwai babban bambanci tsakanin samun ra'ayin kawai, sannan a sa shi ya yi aiki a kan matsalar wasan yara, sannan a sa shi ya yi aiki a kan wata matsala ta gaske, sannan a yi ka'idar da ta nuna dalilin da ya sa take aiki, sannan tura shi. Akwai dukan sarkar, kuma ra'ayinsa na kiredit na kimiyya shi ne cewa shi ne mutum na farko da kawai, irin-na, ka sani, yana da ra'ayin cewa, cewa ya kamata a sami dukan daraja. Kuma wannan abin ba'a ne.
ZDNet: Kar ku yarda da duk abin da kuke ji a kafafen sada zumunta.
YL: Ma’ana, babbar takardar da ya ce in kawo ba ta da wasu manyan ra’ayoyin da na yi magana a kai a cikin takardar. Ya yi wannan kuma da GANs da sauran abubuwan da ba su zama gaskiya ba. Yana da sauƙi a yi dasa tuta, yana da wuya a ba da gudummawa. Kuma, ta hanyar, a cikin wannan takarda ta musamman, na ce a fili wannan ba takarda ta kimiyya ba ce a cikin ma'anar da aka saba. Yana da ƙarin takardar matsayi game da inda wannan abu ya kamata ya tafi. Kuma akwai ra'ayoyi guda biyu a wurin waɗanda wataƙila sababbi ne, amma yawancin ba haka bane. Ba na da'awar wani fifiko akan yawancin abin da na rubuta a cikin wannan takarda, da gaske.
Ƙarfafa ilmantarwa kuma ba za ta taɓa isa ba, LeCun ya ci gaba. Masu bincike irin su David Silver na DeepMind, wanda ya ɓullo da shirin AlphaZero wanda ya ƙware Chess, Shogi da Go, suna da “tushen aiki sosai,” in ji LeCun, amma “yawancin koyan da muke yi, ba mu yin hakan ta zahiri ta hanyar ɗauka. ayyuka, muna yin hakan ta hanyar lura."
ZDNet: Kuma watakila wannan wuri ne mai kyau don farawa, saboda ina sha'awar me yasa kuka bi wannan hanyar yanzu? Me ya sa ku tunani game da wannan? Me yasa kuke son rubuta wannan?
YL: To, don haka, na daɗe ina tunanin wannan, game da hanyar da za ta kai ga matakin ɗan adam ko na dabba irin na hankali ko koyo da iyawa. Kuma, a cikin jawabaina na yi magana sosai game da wannan gaba ɗaya abin da duka kulawar koyo da ƙarfafa koyo ba su isa su kwaikwayi irin koyan da muke gani a cikin dabbobi da mutane ba. Na yi wannan abu kamar shekara bakwai ko takwas. Don haka, ba kwanan nan ba ne. Ina da mahimmin bayani a NeurIPS shekaru da yawa da suka wuce inda na yi wannan batu, da gaske, da tattaunawa daban-daban, akwai rikodin. Yanzu, me yasa yanzu rubuta takarda? Na zo ga ma'ana - [Mai bincike na Brain Google] Geoff Hinton ya yi wani abu makamancin haka - Ina nufin, hakika, fiye da ni, muna ganin lokaci yana kurewa. Mu ba matasa ba ne.
ZDNet: Sittin ne sabon hamsin.
YL: Gaskiya ne, amma batun shine, muna ganin yawancin da'awar game da abin da ya kamata mu yi don ciyar da gaba zuwa matakin AI na ɗan adam. Kuma akwai ra'ayoyin da nake ganin an karkatar da su. Don haka, ra'ayi ɗaya shine, Oh, ya kamata mu ƙara kawai dalili na alama a saman gidajen yanar gizo. Kuma ban san yadda zan yi wannan ba. Don haka, watakila abin da na yi bayani a cikin takarda zai iya kasancewa hanya ɗaya da za ta yi abu ɗaya ba tare da yin amfani da alamar alama ba. Wannan shine irin Gary Marcuses na duniya na al'ada. Gary Marcus ba mutumin AI bane, ta hanyar, shi masanin ilimin halayyar dan adam ne. Bai taba ba da gudummawa ga AI ba. Ya yi aiki mai kyau sosai a cikin ilimin halin ɗan adam na gwaji amma bai taɓa rubuta takarda da aka bita akan AI ba. Don haka, akwai waɗannan mutanen.
Akwai [Masanin bincike na ƙa'idar DeepMind] David Silvers na duniya wanda ya ce, ka sani, lada ya isa, m, duk game da ƙarfafa koyo ne, kawai muna buƙatar sanya shi ɗan ƙaramin inganci, lafiya? Kuma, ina tsammanin ba su da kuskure, amma ina tsammanin matakan da suka wajaba don samar da ƙarfafa ilmantarwa mafi inganci, m, zai sake mayar da ilimin ƙarfafawa don nau'in ceri akan cake. Kuma babban abin da ya ɓace shine koyan yadda duniya ke aiki, galibi ta hanyar lura ba tare da aiki ba. Koyon ƙarfafawa yana da tushen aiki sosai, kuna koyon abubuwa game da duniya ta hanyar ɗaukar ayyuka da ganin sakamakon.
ZDNet: Kuma yana mai da hankali kan lada.
YL: Yana mai da hankali kan lada, kuma yana mai da hankali kan aiki ma. Don haka, dole ne ku yi aiki a cikin duniya don samun damar koyan wani abu game da duniya. Kuma babban da’awar da na yi a cikin takarda game da ilmantarwa mai kula da kai ita ce, yawancin koyan da muke yi, ba mu yin shi ta hanyar aiwatar da ayyuka a zahiri, muna yin shi ta hanyar lura. Kuma ba al'ada ba ne, duka don ƙarfafa mutane masu koyo, musamman, har ma ga yawancin masana ilimin halayyar ɗan adam da masana kimiyya waɗanda ke tunanin cewa, ka sani, aiki shine - Ba na cewa aiki ba shi da mahimmanci, yana is mahimmanci. Amma ina ganin mafi yawan abin da muka koya shi ne mafi yawa game da tsarin duniya, kuma ya ƙunshi, ba shakka, mu'amala da aiki da wasa, da abubuwa makamantansu, amma yawancinsu abin lura ne.
ZDNet: Hakanan zaka iya sarrafa kashe mutanen Transformer, harshe-mutane na farko, a lokaci guda. Ta yaya za ku fara gina wannan ba tare da yare ba? Kuna iya sarrafa mutane da yawa.
YL: Ee, na saba da hakan. Don haka, eh, akwai mutanen farko-harshe, waɗanda suka ce, ka sani, hankali game da harshe ne, tushen hankali shine harshe, blah, blah, blah. Amma wannan, irin-na, ya watsar da hankalin dabba. Ka sani, ba mu kai matsayin da injinanmu masu hankali ke da hankali ba kamar kyanwa. To, me ya sa ba za mu fara can ba? Menene ke ba da damar cat don kama duniyar da ke kewaye, yin kyawawan abubuwa masu wayo, da tsarawa da abubuwa makamantan haka, kuma karnuka ma sun fi kyau?
Sannan akwai duk masu cewa, Haba hankali abu ne na zamantakewa, ko? Muna da hankali saboda muna magana da juna kuma muna musayar bayanai, kuma blah, blah, blah. Akwai nau'ikan nau'ikan nau'ikan da ba na jama'a waɗanda ba su taɓa saduwa da iyayensu waɗanda ke da wayo sosai, kamar dorinar ruwa ko orangutans.Ina nufin, su [orangutans] tabbas mahaifiyarsu ce ta koya musu, amma ba dabbobin zamantakewa ba ne.
Amma sauran nau'in mutanen da zan iya yin la'akari da su shine mutanen da suka ce girman kai ya isa. Don haka, ainihin, muna amfani da gigantic Transformers, muna horar da su akan bayanan multimodal wanda ya ƙunshi, ka sani, bidiyo, rubutu, blah, blah, blah. Mu, irin-na, lalatakomai, kuma tokenize kome, sa'an nan horar da giganticsamfura don yin tsinkaya mai ma'ana, a zahiri, kuma ko ta yaya AI za ta fito daga wannan. Ba su yi kuskure ba, a ma'anar cewa hakan na iya zama wani ɓangare na tsarin fasaha na gaba. Amma ina tsammanin ya ɓace mahimman sassa.
Akwai wani nau'in mutanen da zan yi la'akari da wannan takarda. Kuma su ne masu yuwuwa, masu yuwuwar addini. Don haka, mutanen da suke tunanin ka'idar yiwuwar ita ce kawai tsarin da za ku iya amfani da su don bayyana koyan na'ura. Kuma kamar yadda na yi ƙoƙari in bayyana a cikin yanki, yana da mahimmanci da yawa don neman samfurin duniya ya zama mai yiwuwa gaba ɗaya. Ba mu san yadda za mu yi ba. Akwai rashin karfin lissafi. Don haka ina ba da shawara in bar wannan gaba ɗaya ra'ayin. Kuma tabbas, kun sani, wannan babban ginshiƙi ne na ba wai kawai koyon injin ba, har ma da dukkan kididdiga, waɗanda ke iƙirarin zama ƙa'ida ta al'ada don koyon injin.
Wani abu -
ZDNet: Kuna kan nadi…
YL: - shi ne abin da ake kira generative model. Don haka, ra'ayin da za ku iya koyan tsinkaya, kuma kuna iya koyan abubuwa da yawa game da duniya ta hanyar tsinkaya. Don haka, na ba ku wani yanki na bidiyo kuma na tambayi tsarin don tsinkayar abin da zai faru na gaba a cikin bidiyon. Kuma ina iya tambayar ku don hasashen ainihin firam ɗin bidiyo tare da cikakkun bayanai. Amma abin da na yi jayayya game da shi a cikin takarda shi ne cewa abin da gaske ya yi yawa don tambaya kuma yana da rikitarwa. Kuma wannan shi ne abin da na canza ra'ayi akai. Har zuwa kusan shekaru biyu da suka wuce, na kasance mai ba da shawara ga abin da na kira latent variable generative model, wanda ke yin hasashen abin da zai faru a gaba ko bayanan da ya ɓace, mai yiwuwa tare da taimakon madaidaicin madaidaicin, idan hasashen ba zai iya zama ba. ƙaddara. Kuma na yi watsi da wannan. Kuma dalilin da ya sa na yi watsi da wannan ya dogara ne akan sakamako mai ma'ana, inda mutane suka yi ƙoƙari su yi amfani da su, nau'i-nau'i, tsinkaya ko horo na tushen sake gina nau'in da ake amfani da su a BERT.da manyan nau'ikan harshe, sun yi ƙoƙari su yi amfani da wannan ga hotuna, kuma ya kasance cikakkiyar gazawa. Kuma dalilin da ya sa ya zama cikakkiyar gazawa shine, kuma, saboda ƙuntataccen ƙirar ƙila inda yana da sauƙi a iya hasashen alamu masu hankali kamar kalmomi saboda muna iya ƙididdige yiwuwar rarraba kan duk kalmomi a cikin ƙamus. Wannan abu ne mai sauki. Amma idan muka nemi tsarin don samar da yuwuwar rarraba akan duk firam ɗin bidiyo mai yuwuwa, ba mu da masaniyar yadda za mu daidaita shi, ko kuma muna da ra'ayin yadda za a daidaita shi, amma ba mu san yadda za a daidaita shi ba. Ya ci karo da matsalar lissafin da ba za ta iya warwarewa ba wadda ba mu san yadda za mu magance ba.
Lecun ya ce: “Ba mu kai matakin da na’urorinmu masu hankali suke da hankali ba kamar kyanwa,” in ji Lecun. “To, me ya sa ba za mu fara can ba? Menene ke ba da damar cat don kama duniyar da ke kewaye, yin kyawawan abubuwa masu wayo, da tsarawa da abubuwa makamantan haka, kuma karnuka ma sun fi kyau?”
Don haka, shi ya sa na ce mu watsar da ka'idar yiwuwar ko tsarin abubuwa irin wannan, mafi rauni, samfurin tushen kuzari. Na kasance ina bayar da shawarar wannan, kuma, shekaru da yawa, don haka wannan ba abu ne na kwanan nan ba. Amma a lokaci guda, watsi da ra'ayin samfuran ƙira saboda akwai abubuwa da yawa a cikin duniya waɗanda ba za a iya fahimta ba kuma ba a iya faɗi ba. Idan kai injiniya ne, ka kira shi surutu. Idan kai masanin kimiyya ne, ka kira shi zafi. Kuma idan kai mai koyon injin ne, ka kira shi, ka sani, cikakkun bayanai marasa mahimmanci ko wani abu.
Don haka, misalin da na yi amfani da shi a cikin takarda, ko na yi amfani da shi a cikin tattaunawa, shine, kuna son tsarin tsinkaya na duniya wanda zai taimaka a cikin mota mai tuka kanta, daidai? Yana son ya iya yin hasashen, a gaba, yanayin duk sauran motoci, abin da zai faru da wasu abubuwan da za su iya motsawa, masu tafiya a ƙasa, kekuna, yaro yana gudu bayan ƙwallon ƙwallon ƙafa, abubuwa makamantan haka. Don haka, duk nau'ikan abubuwa game da duniya. Amma a kan iyaka da hanya, za a iya samun bishiyoyi, kuma akwai iska a yau, don haka ganye suna tafiya a cikin iska, kuma bayan bishiyoyin akwai tafki, kuma akwai raƙuman ruwa a cikin tafki. Kuma waɗancan, a zahiri, abubuwa ne da ba za a iya faɗi ba. Kuma, ba kwa son samfurin ku ya kashe babban adadin albarkatu yana tsinkayar abubuwan da ke da wuyar tsinkaya kuma ba su da mahimmanci. Don haka shine dalilin da ya sa nake ba da shawara ga haɗin gwiwar haɗin gwiwar gine-ginen, waɗannan abubuwan da canjin da kuke ƙoƙarin yin samfuri, ba ku ƙoƙarin yin hasashen shi ba, kuna ƙoƙarin yin samfuri, amma yana gudana ta hanyar encoder, kuma wannan encoder zai iya kawar da cikakkun bayanai game da shigarwar da ba su da mahimmanci ko kuma masu rikitarwa - asali, daidai da amo.
ZDNet: Mun tattauna a farkon wannan shekara samfuran tushen makamashi, JEPA da H-JEPA. Hankalina, idan na fahimce ku daidai, kuna gano maƙasudin ƙarancin kuzari inda waɗannan tsinkaya guda biyu na abubuwan haɗin X da Y sun fi kama da juna, wanda ke nufin cewa idan akwai tattabara a cikin bishiyar ɗaya, kuma akwai wani abu a cikin bangon wani fage, waɗannan ƙila ba su zama mahimman abubuwan da ke sa waɗannan abubuwan haɗin gwiwa su kasance kusa da juna ba.
YL: Dama. Don haka, gine-ginen JEPA a zahiri yana ƙoƙarin nemo ɓangarorin ciniki, sasantawa, tsakanin fitar da wakilci waɗanda ke da cikakken bayani game da abubuwan da aka shigar amma kuma ana iya tsinkaya daga juna tare da wani matakin daidaito ko amintacce. Yana samun ciniki. Don haka, idan yana da zaɓi tsakanin kashe babban adadin albarkatu ciki har da cikakkun bayanai game da motsin ganye, sannan yin ƙira da haɓakar yanayin da zai yanke shawarar yadda ganyen ke motsawa na daƙiƙa ɗaya daga yanzu, ko kuma jefar da hakan a ƙasa ta hanyar. kawai yana tafiyar da ma'aunin Y ta hanyar tsinkaya wanda ke kawar da duk waɗannan cikakkun bayanai, tabbas zai iya kawar da shi kawai saboda yana da wuyar ƙira da kamawa.
ZDNet: Abu daya da ke mamakin shine kun kasance babban mai ba da shawara na cewa "Yana aiki, za mu gano daga baya ka'idar thermodynamics don bayyana ta." Anan kun ɗauki hanyar, "Ban san yadda za mu magance wannan ba, amma ina so in gabatar da wasu ra'ayoyin don yin tunani game da shi," kuma watakila ma gabatowa ga ka'idar ko hasashe, a kadan. Hakan yana da ban sha'awa domin akwai mutane da yawa da ke kashe kuɗi masu yawa don aikin motar da za su iya ganin mai tafiya ba tare da la'akari da ko motar tana da hankali ba. Kuma ina tsammanin wasu daga cikin waɗancan mutanen za su kasance, ba za a yi la’akari da su ba, amma za su ce, “Wannan yana da kyau, ba mu damu ba idan ba shi da hankali, mun gina simulation, simulation ɗin yana da ban mamaki. kuma za mu ci gaba da ingantawa, za mu ci gaba da inganta simulation."
Don haka yana da ban sha'awa cewa kuna cikin matsayi yanzu ku ce, bari mu koma baya mu yi tunanin abin da muke yi. Kuma masana'antar suna cewa za mu yi girma, ma'auni, ma'auni, ma'auni, saboda wannan crank yana aiki sosai. Ina nufin, semiconductor crank na GPUs da gaske yana aiki.
YL: Akwai, kamar, tambayoyi biyar a wurin. Don haka, ina nufin, yin sikeli ya zama dole. Ba ina sukar gaskiyar cewa ya kamata mu daidaita ba. Ya kamata mu auna. Wadancan gidajen yanar gizo suna samun sauki yayin da suke girma. Babu tambaya ya kamata mu auna. Kuma waɗanda za su sami wani matakin hankali za su kasance babba. Babu wata hanya a kusa da hakan, ina tsammanin. Don haka sikelin yana da kyau, ya zama dole, amma bai wadatar ba. Maganar da nake magana kenan. Ba wai kikewa kawai ba. Wannan shine batu na farko.
Batu na biyu, ko ka'idar ta zo ta farko da abubuwa makamantansu. Don haka, ina tsammanin akwai ra'ayoyi da suka zo da farko cewa, dole ne ka koma baya ka ce, to, mun gina wannan tsani, amma muna so mu je duniyar wata kuma babu yadda wannan tsani zai kai mu can. Don haka, a zahiri, abin da nake rubutawa anan shine, muna buƙatar gina rokoki. Ba zan iya ba ku cikakkun bayanai kan yadda muke kera rokoki ba, amma a nan ne ainihin ƙa'idodin. Kuma ba zan rubuta wata ka'ida don shi ko wani abu ba, amma, zai zama roka, lafiya? Ko na'urar hawan sararin samaniya ko menene. Wataƙila ba mu da cikakkun bayanai na duk fasahar. Muna ƙoƙari mu sa wasu abubuwan su yi aiki, kamar na yi aiki a kan JEPA. Haɗin haɗin gwiwa yana aiki da kyau sosai don gane hoto, amma don amfani da shi don horar da ƙirar duniya, akwai matsaloli. Muna aiki a kai, muna fatan za mu sa ya yi aiki soon, amma muna iya fuskantar wasu cikas a wurin da ba za mu iya tsallakewa ba, mai yiyuwa.
Sa'an nan akwai wata mahimmin ra'ayi a cikin takarda game da tunani inda idan muna son tsarin zai iya tsarawa, wanda za ku iya tunani a matsayin nau'i mai sauƙi na tunani, suna buƙatar samun latent masu canji. A wasu kalmomi, abubuwan da ba a lissafta su ta kowace hanyar sadarwa ba amma abubuwan da suke - waɗanda aka ƙididdige darajar su don rage wasu ayyuka na haƙiƙa, wasu ayyuka masu tsada. Sannan zaku iya amfani da wannan aikin farashi don fitar da halayen tsarin. Kuma wannan ba sabon ra'ayi ba ne ko kadan, ko? Wannan na al'ada ne, mafi kyawun iko inda tushen wannan ke komawa zuwa ƙarshen 50s, farkon 60s. Don haka, ba da'awar wani sabon abu a nan. Amma abin da nake cewa shi ne, irin wannan ra'ayi dole ne ya zama wani ɓangare na tsarin basira wanda ke da ikon tsarawa, kuma wanda za'a iya ƙayyade ko sarrafa halinsa ba ta hanyar ɗabi'a mai wuyar warwarewa ba, ba ta hanyar kwaikwayi ba, amma ta hanyar aiki na haƙiƙa wanda zai iya yin tasiri. yana tafiyar da halin - ba ya koyo, dole, amma yana motsa hali. Ka sani, muna da wannan a cikin kwakwalwarmu, kuma kowace dabba tana da tsadar gaske ko kuma abubuwan da ke motsa jiki. Hakan ya sa jarirai 'yan wata tara su so tashi tsaye. Kudin yin farin ciki lokacin da kuka tashi, wannan kalmar a cikin aikin farashi yana da ƙarfi. Amma yadda kuka tashi ba, koyo ne.
"Scaling yana da kyau, yana da mahimmanci, amma bai wadatar ba," in ji LeCun na manyan harsunan ƙirar kamar shirye-shiryen tushen Transformer na GPT-3 iri-iri. Masu sadaukarwa na Transformer sun yi imani, "Muna ba da alamar komai, kuma muna horar da manyasamfura don yin tsinkaya mai ma'ana, kuma ko ta yaya AI zai fito daga wannan… amma ina tsammanin ya ɓace mahimman abubuwan.
ZDNet: Kawai don kammala wannan batu, yawancin al'ummar zurfin ilmantarwa suna da kyau suna ci gaba da wani abu wanda ba shi da hankali. Da alama kuna yin kyakkyawar hujja a nan cewa a wani lokaci ya zama abin ƙyama. Wasu mutane sun ce ba ma buƙatar mota mai cin gashin kanta tare da hankali saboda zazzagewa zai yi. Yana ji kamar kuna cewa ba daidai ba ne kawai ku ci gaba da bin hanyar?
YL: Ka sani, ina ganin yana yiwuwa gaba ɗaya mu sami motoci masu cin gashin kansu guda biyar ba tare da hankali ba. Amma matsalar wannan hanya, wannan zai zama na ɗan lokaci, saboda za ku yi aikin injiniyan wuta daga gare ta. Don haka, ka sani, taswirar duniya gaba ɗaya, taswirar duk nau'ikan takamaiman halaye na kusurwa, tattara isassun bayanai waɗanda kuke da su duka, nau'in, yanayi mai ban mamaki da zaku iya fuskanta akan hanyoyi, blah, blah, blah. Kuma hasashe na shine cewa tare da isasshen jari da lokaci, zaku iya kawai injiniyan jahannama daga ciki. Amma a ƙarshe, za a sami ƙarin gamsuwa kuma mai yiwuwa mafi kyawun bayani wanda ya ƙunshi tsarin da ke yin kyakkyawan aiki na fahimtar yadda duniya ke aiki, kuma yana da, ka sani, wani matakin abin da za mu kira hankali. Ba lallai ba ne ya zama ma'ana ta hanyar mutum, amma wani nau'in ilimin da tsarin zai iya samu ta hanyar kallo, amma ba kallon wani yana tuki ba, kawai kallon abubuwan da ke motsawa da fahimtar abubuwa da yawa game da duniya, gina tushen asali. ilimi game da yadda duniya ke aiki, wanda a samansa zaka iya koyon tuƙi.
Bari in dauki misalin tarihi akan haka. hangen nesa na kwamfuta na gargajiya ya dogara ne akan yawancin na'urori masu ƙarfi, injiniyoyi, waɗanda za ku sami, nau'in-nau'i, ƙaramin koyo. Don haka, kayan da AlexNet ya buge a cikin 2012, suna da ainihin matakin farko, nau'in nau'in kayan aikin hannu, kamar SIFTs [Scale-Invariant Feature Transform (SIFT), dabarar hangen nesa ta yau da kullun don gano abubuwa masu mahimmanci a cikin hoto] da HOG [Histogram of Oriented Gradients, wata fasaha ta gargajiya] da sauran abubuwa daban-daban. Sannan Layer na biyu na, nau'i-nau'i, fasalulluka na matsakaicin matsakaici dangane da kernels da kowane abu, da kuma wata hanyar da ba a kula da ita ba. Sannan a saman wannan, kun sanya na'ura mai goyan baya, ko kuma mai sauƙin rarrabawa. Kuma wannan shine, nau'in, daidaitaccen bututun mai daga tsakiyar 2000s zuwa 2012. Kuma an maye gurbinsu da tarukan juyin juya hali na ƙarshe zuwa ƙarshen, inda ba ku da kowane irin wannan, kuna da bayanai da yawa. kuma kuna horar da abu daga ƙarshe zuwa ƙarshe, wanda shine tsarin da na daɗe ina ba da shawara, amma kun san, har zuwa lokacin, ba a yi amfani da shi don manyan matsaloli ba.
An yi irin wannan labarin a cikin fahimtar magana inda, kuma, akwai adadi mai yawa na injiniyanci don yadda kuke aiwatar da bayanan, kuna fitar da cepstrum mai yawan jama'a [wani juzu'i na Canjin Saurin Saurin don sarrafa sigina], sannan kuna da Boyewar Markov Model, tare da nau'in-na, tsarin gine-gine da aka riga aka saita, blah, blah, blah, tare da Cakudar Gaussians. Don haka, ɗan ginin gine-gine iri ɗaya ne da hangen nesa inda kuka yi aikin hannu na gaba-gaba, sannan wani ɗan ƙaramin kulawa, horarwa, Layer na tsakiya, sannan Layer mai kulawa a saman. Kuma yanzu hakan ya kasance, a zahiri, an shafe ta ta hanyar rukunonin jijiyoyi na ƙarshe zuwa ƙarshe. Don haka ina ganin wani abu makamancin haka a can na ƙoƙarin koyon komai, amma dole ne ku sami dama kafin, ingantaccen gine-gine, tsarin da ya dace.
Tarin motar da ke tuka kanta, masu farawa irin su Waymo da Wayve, sun kasance "kaɗan sun yi kyakkyawan fata," in ji shi, ta hanyar tunanin za su iya "jefa bayanai a ciki, kuma za ku iya koyan komai sosai." Motocin tuƙi a mataki na 5 na ADAS mai yiwuwa ne, “Amma za ku zama injiniyan jahannama daga gare ta” kuma za su kasance “raguwa” kamar ƙirar hangen nesa na kwamfuta na farko.
ZDNet: Abin da kuke cewa shi ne, wasu mutane za su yi ƙoƙari su ƙirƙira abin da ba ya aiki a halin yanzu tare da zurfin ilmantarwa don dacewa, a ce, a cikin masana'antu, kuma za su fara ƙirƙirar wani abu wanda shine abin da ya zama wanda ya ɓace a hangen nesa na kwamfuta?
YL: Dama. Kuma wani bangare ne ya sa mutanen da ke aiki a kan tuki mai cin gashin kansu suka kasance masu kyakkyawan fata a cikin ’yan shekarun da suka gabata, saboda, ka sani, kuna da waɗannan, nau'ikan abubuwa iri-iri, kamar gidan yanar gizo na juyin juya hali da masu canzawa, wanda zaku iya jefa bayanai a ciki. , kuma yana iya koyan komai sosai. Don haka, ka ce, To, ina da maganin wannan matsalar. Abu na farko da za ku yi shine ku gina demo inda motar ke tuka kanta na ƴan mintuna ba tare da cutar da kowa ba. Sannan ka gane akwai lokuta da yawa na kusurwa, kuma ka yi ƙoƙari ka tsara lanƙwasa na nawa zan samu yayin da na ninka tsarin horarwa, kuma ka gane ba za ka taba zuwa wurin ba saboda akwai kowane nau'i na nau'i na kusurwa. . Kuma kuna buƙatar samun motar da za ta haifar da mummunar haɗari ƙasa da kowane kilomita miliyan 200, daidai ne? To, me kuke yi? To, kuna tafiya ta hanyoyi biyu.
Hanyar farko ita ce, ta yaya zan iya rage adadin bayanan da ya dace don tsarina ya koya? Kuma a nan ne koyo na kulawa da kai ya shigo. Don haka, yawancin kayan tuƙi na mota suna da sha'awar koyo na kulawa da kansu saboda wannan shine hanyar da za a yi amfani da manyan bayanai na kulawa don koyi, amma samun kyakkyawan aiki ta hanyar. kafin horo, da gaske. Kuma har yanzu bai gama fashe ba, amma zai yi. Sannan akwai wani zabin, wanda mafi yawan kamfanonin da suka fi ci gaba a wannan lokaci suka amince da shi, wato, lafiya, za mu iya yin horon karshen-zuwa-karshe, amma akwai lokuta da dama da za mu iya. t rike, don haka za mu kawai injiniya tsarin da za su kula da wadanda kusurwa lokuta, kuma, m, bi da su a matsayin musamman lokuta, da hardwire da iko, sa'an nan hardwire da yawa asali hali rike musamman yanayi. Kuma idan kuna da isassun ƙungiyar injiniyoyi, kuna iya cire ta. Amma zai ɗauki lokaci mai tsawo, kuma a ƙarshe, har yanzu zai zama ɗan raguwa, watakila abin dogara wanda za ku iya turawa, amma tare da wasu matakan brittleness, wanda, tare da ƙarin tsarin ilmantarwa wanda zai iya bayyana a cikin A nan gaba, motoci ba za su samu ba saboda yana iya samun wasu matakin fahimta da fahimtar yadda duniya ke aiki.
A cikin ɗan gajeren lokaci, tsarin, nau'in, tsarin injiniya zai yi nasara - ya riga ya ci nasara. Wannan shine Waymo da Cruise na duniya da Wayvekuma komai, abin da suke yi ke nan. Sannan akwai tsarin ilmantarwa na kai-da-kai, wanda mai yiwuwa zai taimaka wa dabarar injiniya don samun ci gaba. Amma sai, a cikin dogon lokaci, wanda zai iya yin tsayi da yawa ga waɗannan kamfanoni su jira, tabbas zai zama, nau'i-nau'i, tsarin tsarin tuki mai cin gashin kansa.
ZDNet: Mun ce fiye da yanayin zuba jari na yawancin masu zuba jari.
YL: Haka ne. Don haka, abin tambaya a nan shi ne, shin mutane za su daina hakuri ne ko kuma su kubuta kafin wasan kwaikwayon ya kai matsayin da ake so.
ZDNet: Shin akwai wani abu mai ban sha'awa don faɗi game da dalilin da yasa kuka zaɓi wasu abubuwan da kuka zaɓa a cikin ƙirar? Domin ka buga Kenneth Craik [1943,Yanayin Bayani[1969], kuma kun buga Bryson and Ho [XNUMX, Aiwatar da mafi kyawun iko], kuma ina sha'awar dalilin da ya sa kuka fara da waɗannan tasirin, idan kun yi imani musamman cewa waɗannan mutanen sun ƙulla shi har zuwa abin da suka yi. Me yasa kuka fara can?
YL: To, ba na tsammanin, tabbas, an kulle su duka cikakkun bayanai. Don haka, Bryson da Ho, wannan littafi ne da na karanta a baya a cikin 1987 lokacin da nake yin postdoc tare da Geoffrey Hinton a Toronto. Amma na san game da wannan layin aikin tun da farko lokacin da nake rubuta PhD dina, kuma na sanya alaƙa tsakanin ingantacciyar kulawa da backprop, da gaske. Idan kana so ka zama, ka sani, wani Schmidhuber, za ka ce ainihin masu ƙirƙira na backprop sun kasance mafi kyawun masu ilimin kimiyya Henry J. Kelley, Arthur Bryson, kuma watakila ma Lev Pontryagin, wanda shine masanin ilimin Rasha na mafi kyawun iko a baya. a karshen '50s.
Don haka, sun gano shi, kuma a zahiri, zaku iya ganin tushen wannan, ilimin lissafi a ƙarƙashinsa, injinan Lagrangian ne. Don haka zaku iya komawa zuwa Euler da Lagrange, a zahiri, kuma kuna iya samun whiff na wannan a cikin ma'anar su na kayan aikin gargajiya na Lagrangian, da gaske. Don haka, a cikin mahallin sarrafawa mafi kyau, abin da waɗannan mutanen ke sha'awar shine ainihin lissafin hanyoyin roka. Ka sani, wannan shine farkon shekarun sararin samaniya. Kuma idan kuna da samfurin roka, yana gaya muku a nan ne yanayin rokar a lokaci t, kuma ga matakin da zan dauka, don haka, turawa da masu kunna wuta iri-iri, ga yanayin roka a lokacin. t+1.
ZDNet: Samfurin aikin jiha, ƙirar ƙima.
YL: Haka ne, tushen sarrafawa. Don haka, yanzu zaku iya kwaikwayi harbin roka ta hanyar tunanin jerin umarni, sannan kuna da wani aiki na farashi, wanda shine nisan roka zuwa wurin da aka nufa, tashar sararin samaniya ko duk abin da yake. Sannan ta wani nau'i na zuriyar gradient, za ku iya gane, ta yaya zan iya sabunta jerin ayyukana ta yadda roka ta ta kasance kusa da abin da ake nufi. Kuma hakan dole ne ya zo ta hanyar watsa sigina a baya a cikin lokaci. Kuma wannan shine yaɗa baya-baya, yaɗawa baya-girma. Waɗancan sigina, ana kiran su masu canjin haɗin gwiwa a cikin injinan Lagrangian, amma a zahiri, gradients ne. Don haka, sun ƙirƙira backprop, amma ba su gane cewa za a iya amfani da wannan ƙa'idar don horar da tsarin matakai da yawa wanda zai iya yin ƙirar ƙira ko wani abu makamancin haka. Ba a gane wannan da gaske ba sai watakila ƙarshen 70s, farkon 80s, sannan ba a aiwatar da shi ba kuma an sanya shi aiki har zuwa tsakiyar 80s. Da kyau, don haka, wannan shine inda backprop da gaske, nau'in-nauyi, ya tashi saboda mutane sun nuna anan akwai wasu layukan lamba waɗanda zaku iya horar da gidan yanar gizo, ƙarshen zuwa ƙarshe, multilayer. Kuma wannan yana ɗaga iyakokin Perceptron. Kuma, eh, akwai haɗin gwiwa tare da mafi kyawun sarrafawa, amma hakan ba laifi.
ZDNet: Don haka, wannan babbar hanya ce ta faɗin cewa waɗannan tasirin da kuka fara da su suna komawa baya, kuma hakan yana da mahimmanci a matsayin mafari a gare ku?
YL: Ee, amma ina tsammanin abin da mutane suka manta kaɗan game da shi, akwai ɗan aiki kaɗan akan wannan, kun sani, a cikin 90s, ko ma 80s, gami da mutane kamar Michael Jordan [MIT Dept. of Brain] da Fahimtar Kimiyya] da kuma mutane irin wannan waɗanda ba sa yin tarun jijiyoyi kuma, amma ra'ayin cewa za ku iya amfani da tarun jijiyoyi don sarrafawa, kuma kuna iya amfani da ra'ayoyin gargajiya na mafi kyawun iko. Don haka, abubuwa kamar abin da ake kira samfurin-predictive control, abin da ake kira yanzu samfurin-predictive control, wannan ra'ayin da za ka iya kwatanta ko tunanin sakamakon jerin ayyuka idan kana da kyakkyawan tsarin tsarin da kake ƙoƙarin sarrafawa. da yanayin da yake ciki. Sannan ta hanyar zuriya, ainihin - wannan ba ilmantarwa ba ne, wannan ra'ayi ne - zaku iya gano menene mafi kyawun jerin ayyuka waɗanda zasu rage niyyata. Don haka, yin amfani da aikin farashi tare da madaidaicin latent don ƙididdigewa shine, ina tsammanin, wani abu ne wanda amfanin gona na yanzu na manyan tarun jijiyoyi ya manta da shi. Amma ya kasance wani nau'i na musamman na koyon inji na dogon lokaci. Don haka, kowane samfurin Bayesian Net ko ƙirar hoto ko ƙirar zane mai yuwuwa ya yi amfani da irin wannan ra'ayi. Kuna da ƙirar da ke ɗaukar abin dogaro tsakanin ɗimbin masu canji, ana gaya muku ƙimar wasu daga cikin masu canji, sannan dole ne ku ƙididdige ƙimar mafi kusantar sauran masu canjin. Wannan shine ainihin ƙa'idar ƙaddamarwa a cikin ƙirar hoto da Bayesian Nets, da abubuwa makamantansu. Kuma ina ganin wannan shine ainihin abin da ya kamata tunani ya kasance akai, tunani da tsarawa.
ZDNet: Kai dan Bayesian kabad ne.
YL: Ni Bayesian ba mai yiwuwa ba ne. Na yi wannan barkwanci a baya. A gaskiya na kasance a NeurIPS a ’yan shekarun da suka gabata, ina tsammanin a cikin 2018 ko 2019 ne, kuma wani dan Bayesian ne ya kama ni a bidiyo wanda ya tambaye ni ko ni dan Bayesian ne, sai na ce, Eh, ni dan Bayesian ne, amma ni Ni Bayesian ba mai yiwuwa ba ne, irin-na, Bayesian mai tushen makamashi, idan kuna so.
ZDNet: Wanda tabbas yayi kama da wani abu daga star Trek. Kun ambata a ƙarshen wannan takarda, za a ɗauki shekaru na aiki tuƙuru don gane abin da kuke tunani. Faɗa mini game da abin da wasu daga cikin wannan aikin a yanzu ya kunsa.
YL: Don haka, na bayyana yadda kuke horarwa da gina JEPA a cikin takarda. Kuma ma'aunin da nake ba da shawara a kai shi ne samun wata hanya ta haɓaka abubuwan da ke cikin bayanai waɗanda wakilcin da aka fitar ke da shi game da shigarwar. Sannan na biyun yana rage kuskuren tsinkaya. Kuma idan kuna da latent m a cikin tsinkaya wanda ke ba da damar mai hasashen ya zama mara ƙididdigewa, dole ne ku daidaita shi ma wannan latent m ta hanyar rage abun ciki na bayanansa. Don haka, kuna da batutuwa guda biyu a yanzu, wanda shine ta yaya kuke haɓaka bayanan abubuwan da ake fitarwa na wasu hanyoyin sadarwa na jijiyoyi, ɗayan kuma shine ta yaya kuke rage abubuwan bayanan wasu latent m? Kuma idan ba ku yi waɗannan abubuwa biyu ba, tsarin zai rushe. Ba zai koyi wani abu mai ban sha'awa ba. Zai ba da makamashin sifili ga komai, wani abu makamancin haka, wanda ba shine kyakkyawan tsarin dogaro ba. Matsalar rigakafin rushewa ce na ambata.
Kuma ina cewa duk abubuwan da mutane suka taba yi, akwai hanyoyi guda biyu kawai don hana rushewa. Ɗayan hanyoyi ne masu bambanta, ɗayan kuma shine waɗannan hanyoyin da aka tsara. Don haka, wannan ra'ayin na haɓaka abun ciki na bayanai na wakilcin abubuwan shigar guda biyu da rage girman abun ciki na bayanan latent, wanda ke cikin hanyoyin da aka tsara. Amma yawancin ayyukan da ke cikin waɗannan gine-ginen haɗin gwiwar haɗin gwiwar suna amfani da hanyoyi masu bambanta. A gaskiya ma, tabbas sun fi shahara a halin yanzu. Don haka, tambayar ita ce ta yaya kuke auna abubuwan da ke cikin bayanai ta hanyar da za ku iya inganta ko rage girman ku? Kuma a nan ne abubuwa suka zama masu rikitarwa saboda ba mu san ainihin yadda ake auna abubuwan da ke cikin bayanai ba. Za mu iya kimanta shi, za mu iya sama da shi, za mu iya yin abubuwa kamar haka. Amma a zahiri ba sa auna abun ciki na bayanai, wanda, a zahiri, har zuwa wani lokaci ba a bayyana shi da kyau ba.
ZDNet: Ba Dokar Shannon ba ce? Ba bayanin ka'idar ba? Kuna da wani adadin entropy, mai kyau entropy da mummunan entropy, kuma kyakkyawan entropy shine tsarin alama wanda ke aiki, mummunan entropy shine hayaniya. Shin duk ba Shannon ya warware ba?
YL: Kun yi gaskiya, amma akwai babban aibi a bayan hakan. Kuna da gaskiya a ma'anar cewa idan kuna da bayanan da ke zuwa muku kuma kuna iya ƙididdige bayanan a cikin alamomi masu hankali, sannan ku auna yuwuwar kowane ɗayan waɗannan alamomin, to matsakaicin adadin bayanan da waɗannan alamomin ke ɗauka shine jimla kan yiwuwar alamun Pi log Pi, iya kan? Ina Pi shine yuwuwar alamar i - wannan shine Entropy na Shannon. [Shannon's Law yawanci ana tsara shi azaman H = - ∑ pi log pi.]
Ga matsalar, ko da yake: Menene Pi? Yana da sauƙi lokacin da adadin alamomin ƙanana kuma an zana alamomin da kansu. Lokacin da akwai alamomi da yawa, da abin dogaro, yana da wahala sosai. Don haka, idan kuna da jerin ragowa kuma kuna ɗauka cewa ragowa suna da 'yanci daga juna kuma yuwuwar suna daidai tsakanin ɗaya da sifili ko duk abin da, to zaku iya auna entropy cikin sauƙi, ba matsala. Amma idan abubuwan da suke zuwa gare ku sune manyan nau'ikan vectors, kamar, kun sani, firam ɗin bayanai, ko wani abu makamancin haka, menene. Pi? Menene rabon? Da farko dole ne ku ƙididdige wannan sararin samaniya, wanda ke da girma mai girma, sarari mai ci gaba. Ba ku da masaniyar yadda ake ƙididdige wannan da kyau. Kuna iya amfani da k-ma'ana, da sauransu. Wannan shine abin da mutane suke yi lokacin da suke yin bidiyo da matsawa hoto. Amma kima ne kawai. Sannan dole ne ku yi zato na 'yancin kai. Don haka, a bayyane yake cewa a cikin bidiyo, firam ɗin da suka biyo baya ba su da zaman kansu. Akwai abubuwan dogaro, kuma wannan firam ɗin na iya dogara da wani firam ɗin da kuka gani awa ɗaya da ta gabata, wanda hoton abu ɗaya ne. Don haka, kun sani, ba za ku iya aunawa ba Pi. Don aunawa Pi, Dole ne ku sami tsarin koyon injin da ke koyon tsinkaya. Don haka kun koma ga matsalar da ta gabata. Don haka, kawai kuna iya kimanta ma'aunin bayanai, da gaske.
"Tambayar ita ce ta yaya kuke auna abubuwan da ke cikin bayanai ta hanyar da za ku iya inganta ko rage girman ku?" in ji LeCun. "Kuma a nan ne abubuwa suka zama masu rikitarwa saboda ba mu san ainihin yadda ake auna abubuwan da ke cikin bayanai ba." Mafi kyawun abin da za a iya yi ya zuwa yanzu shine a nemo wakili wanda yake “mai kyau ga aikin da muke so.”
Bari in dauki wani karin misali. Ɗaya daga cikin algorithm ɗin da muka yi wasa da shi, kuma na yi magana game da shi a cikin yanki, shine wannan abu da ake kira VICReg, variance-invariance-covariance normalization. Yana cikin wata takarda dabam da aka buga a ICLR, kuma an sanya shi a kan arXiv kimanin shekara guda kafin, 2021. Kuma ra'ayin akwai don ƙara yawan bayanai. Kuma ainihin ra'ayin ya fito ne daga wata takarda ta farko da ƙungiyara ta kira Barlow Twins. Kuna haɓaka bayanin abun ciki na vector da ke fitowa daga gidan yanar gizo ta hanyar, ainihin, kuna ɗauka cewa kawai dogaro tsakanin masu canji shine daidaitawa, dogaro na layi. Don haka, idan kun ɗauka cewa kawai dogaro da ke yiwuwa tsakanin nau'ikan masu canji, ko tsakanin masu canji a cikin tsarin ku, shine alaƙa tsakanin nau'ikan abubuwa masu ƙima, wanda shine ƙaƙƙarfan ƙima, to zaku iya haɓaka bayanan da ke fitowa daga tsarin ku. ta hanyar tabbatar da cewa duk masu canji suna da bambance-bambancen da ba na sifili ba - bari mu ce, bambance-bambancen daya, ba kome ba mene ne - sannan kuma a mayar da su, tsari iri ɗaya da ake kira whitening, ba sabon abu ba ne. Matsalar wannan ita ce, za ku iya samun dogara sosai a tsakanin ko dai ƙungiyoyin masu canji ko ma kawai nau'i-nau'i na masu canji waɗanda ba su dogara da layi ba, kuma ba sa nunawa cikin alaƙa. Don haka, alal misali, idan kuna da masu canji guda biyu, kuma duk maki na waɗannan masu canji guda biyu sun yi layi a cikin wani nau'i na karkace, akwai dogaro mai ƙarfi tsakanin waɗannan masu canji guda biyu, daidai? Amma a zahiri, idan kun ƙididdige alaƙar da ke tsakanin waɗannan masu canji guda biyu, ba su da alaƙa. Don haka, ga misali inda bayanan abubuwan da ke cikin waɗannan ma'auni guda biyu a haƙiƙa ƙanƙanta ne, adadi ɗaya ne kawai saboda matsayin ku a karkace. Suna da alaƙa da juna, don haka kuna tsammanin kuna da bayanai da yawa da ke fitowa daga waɗannan masu canji guda biyu yayin da a zahiri ba ku da, kuna da kawai, kun sani, zaku iya hasashen ɗaya daga cikin masu canji daga ɗayan, da gaske. Don haka, hakan yana nuna cewa muna da kusan hanyoyi ne kawai don auna abun cikin bayanai.
ZDNet: Kuma wannan yana ɗaya daga cikin abubuwan da ya kamata ku yi aiki a yanzu da wannan? Wannan ita ce babbar tambayar ta yaya muke sanin lokacin da muke haɓakawa da rage girman abun ciki?
YL: Ko kuma ko wakili da muke amfani da shi don wannan ya isa ga aikin da muke so. A zahiri, muna yin hakan koyaushe a cikin koyon injin. Ayyukan farashi da muke ragewa ba sune waɗanda a zahiri muke son rage girman su ba. Don haka, misali, kuna son yin rarrabuwa, lafiya? Ayyukan farashi da kuke son ragewa lokacin da kuke horar da na'ura shine adadin kurakuran da mai rarraba ke yi. Amma wannan ba bambance-bambance ba ne, mummunan aiki na farashi wanda ba za ku iya ragewa ba saboda kun san za ku canza ma'auni na gidan yanar gizon ku, babu abin da zai canza har sai ɗayan waɗannan samfuran ya juya shawararsa, sannan tsalle. a cikin kuskure, tabbatacce ko korau.
ZDNet: Don haka kuna da wakili wanda shine aikin haƙiƙa wanda tabbas za ku iya faɗi, tabbas za mu iya kwarara gradients na wannan abu.
YL: Haka ne. Don haka mutane suna amfani da wannan asarar-entropy, ko SOFTMAX, kuna da sunaye da yawa don shi, amma abu ɗaya ne. Kuma shi ne a santsi da kima na yawan kurakuran da tsarin ke yi, inda smoothing ke yin shi, a zahiri, la’akari da makin da tsarin ke ba kowane nau’i.
ZDNet: Shin akwai wani abu da ba mu rufe ba da kuke son rufewa?
YL: Wataƙila yana jaddada mahimman abubuwan. Ina tsammanin tsarin AI yana buƙatar samun damar yin tunani, kuma tsarin wannan da nake ba da shawara yana rage wasu haƙiƙa game da wasu latent m. Wannan yana ba da damar tsarin don tsarawa da tunani. Ina tsammanin ya kamata mu watsar da tsarin yiwuwar saboda ba zai yuwu ba lokacin da muke son yin abubuwa kamar dogaro da kama tsakanin babban girma, masu canji masu ci gaba. Kuma ina ba da shawarar yin watsi da ƙirar ƙira saboda tsarin zai ba da gudummawa da yawa don tsinkayar abubuwan da ke da wahalar hangowa kuma ƙila cinye albarkatu masu yawa. Kuma hakan yayi kyau. Wannan shine babban saƙon, idan kuna so. Sannan tsarin gine-ginen gaba daya. Sa'an nan kuma akwai wadanda hasashe game da yanayin hankali da kuma rawar da mai daidaitawa, amma wannan hasashe ne da gaske.
ZDNet: Za mu kai ga wancan lokaci na gaba. Zan tambaye ku, ta yaya kuke kwatanta wannan abu? Amma ina tsammanin kun ɗan yi gaba kaɗan daga yin ma'auni a yanzu?
YL: Ba lallai ba ne cewa nisa a cikin, nau'i-nau'i, sassauƙan iri. Kuna iya yin abin da kowa ke yi na sarrafawa ko ƙarfafa ilmantarwa, wato, kuna horar da abin don kunna wasannin Atari ko wani abu makamancin haka ko wani wasan da ke da rashin tabbas a ciki.
ZDNet: Na gode da lokacin ku, Yann.
English
Arabic
Belarusian
Bengali
Bosnian
Bulgarian
Chinese (Simplified)
Croatian
Czech
Danish
Dutch
English
Estonian
Filipino
Finnish
French
Georgian
German
Greek
Gujarati
Hausa
Hebrew
Hindi
Hmong
Hungarian
Igbo
Indonesian
Italian
Japanese
Javanese
Kazakh
Korean
Kurdish (Kurmanji)
Kyrgyz
Lao
Latvian
Lithuanian
Macedonian
Malagasy
Norwegian
Persian
Polish
Portuguese
Punjabi
Romanian
Russian
Serbian
Slovak
Slovenian
Spanish
Swedish
Thai
Turkish
Ukrainian
Vietnamese
Yoruba