Keep Calm and Stay Smart
04:29
Guru AI Meta LeCun: Umume pendekatan AI saiki ora bakal nyebabake intelijen sejati
"Aku mikir sistem AI kudu bisa nalar," ujare Yann LeCun, kepala ilmuwan AI Meta. Pendekatan AI sing populer ing jaman saiki kayata Transformers, akeh sing dibangun ing karya perintis dhewe ing lapangan, ora bakal cukup. "Sampeyan kudu njupuk langkah maneh lan ngandika, Oke, kita dibangun andha iki, nanging kita arep menyang rembulan, lan ora ana cara andha iki arep kanggo njaluk kita ana,"Sa LeCun.
Yann LeCun, kepala ilmuwan AI saka Meta Properties, pemilik saka Facebook, Instagram, lan WhatsApp, kamungkinan kanggo obah mati akeh wong ing lapangan kang.
Kanthi posting ing wulan Juni saka potongan pikir ing server Open Review, LeCun nawakake gambaran umum babagan pendekatan sing dianggep nduweni janji kanggo nggayuh intelijen tingkat manungsa ing mesin.
Popular saiki
Ditemtokake yen ora diandharake ing koran kasebut yaiku pratelan manawa umume proyek gedhe saiki ing AI ora bakal bisa nggayuh target tingkat manungsa kasebut.
Ing rembugan iki sasi karo ZDNet liwat Zoom, LeCun nerangake manawa dheweke ndeleng kanthi skeptisisme akeh cara riset sing paling sukses ing sinau jero saiki.
"Aku rumangsa perlu nanging ora cukup," ujare pemenang Turing Award ZDNet ngudi kanca-kancane.
Sing kalebu model basa gedhe kayata Transformer-based GPT-3 lan liyane. Minangka ciri LeCun, para devoté Transformer percaya, "We tokenize kabeh, lan olahraga gigantic.model kanggo nggawe prediksi diskret, lan piye wae AI bakal metu saka iki.
"Dheweke ora salah," ujare, "ing pangertèn sing bisa dadi komponèn saka sistem cerdas ing mangsa ngarep, nanging aku wis ilang bagean penting."
uga: Meta's AI luminary LeCun njelajah wates energi sinau jero
Iki minangka kritik sing nggumunake babagan apa sing kedadeyan saka sarjana sing nyempurnakake panggunaan jaringan saraf convolutional, teknik praktis sing luar biasa produktif ing program sinau jero.
LeCun ndeleng cacat lan watesan ing akeh disiplin liyane sing sukses.
Sinau penguatan uga ora bakal cukup, dheweke njaga. Peneliti kayata David Silver saka DeepMind, sing ngembangake program AlphaZero sing nguwasani Catur, Shogi lan Go, fokus ing program sing "basis banget tumindak," ujare LeCun, nanging "sebagéan gedhé sinau sing kita lakoni, kita ora ngerti. nindakake kanthi bener tumindak, kita nindakake kanthi ngamati."
Lecun, 62 taun, saka perspektif prestasi pirang-pirang dekade, nanging nyatakake urgensi kanggo ngadhepi apa sing dikira minangka lorong-lorong wuta sing bisa ditindakake dening akeh, lan nyoba ngupayakake lapangan ing arah sing dikira kudu ditindakake.
Popular saiki
"Kita ndeleng akeh pratelan babagan apa sing kudu ditindakake kanggo maju menyang AI tingkat manungsa," ujare. "Lan ana gagasan sing dakanggep salah arah."
"Kita ora menyang titik ing ngendi mesin cerdas kita duwe akal sehat kaya kucing," ujare Lecun. "Dadi, kenapa kita ora miwiti ing kana?"
Dheweke wis nilar iman sadurunge nggunakake jaringan generatif ing bab kayata prédhiksi pigura sabanjure ing video. "Iku wis gagal lengkap," ujare.
LeCun nolak wong-wong sing diarani "probabilitas agama," sing "nganggep teori probabilitas minangka kerangka kerja sing bisa digunakake kanggo nerangake pembelajaran mesin."
Pendekatan statistik sejatine ora bisa ditindakake, ujare. "Iku kakehan kanggo njaluk model donya rampung probabilistik; awake dhewe ora ngerti carane.”
Ora mung akademisi, nanging AI industri kudu dipikir maneh kanthi jero, ujare LeCun. Wong akeh mobil sing nyopir, startup kayata Wayve, wis "rada optimistis," ujare, kanthi mikir bisa "mbuwang data ing" jaringan saraf gedhe "lan sampeyan bisa sinau apa wae."
"Sampeyan ngerti, aku mikir manawa kita bakal duwe mobil otonom tingkat lima tanpa akal sehat," ujare, ngrujuk marang "ADAS," sistem pitulungan driver majeng istilah kanggo nyopir mandhiri, "nanging sampeyan kudu ngrancang neraka."
Teknisi nyopir mandhiri sing wis direkayasa kaya ngono bakal dadi creaky lan rapuh kaya kabeh program visi komputer sing ora bisa digunakake kanthi sinau jero, dheweke percaya.
"Pungkasane, bakal ana solusi sing luwih marem lan bisa uga luwih apik sing kalebu sistem sing nindakake tugas sing luwih apik kanggo ngerti cara kerjane jagad iki."
Popular saiki
Ing sadawane dalan, LeCun nawakake sawetara pandangan sing ora bisa ditindakake para kritikus paling gedhe, kayata profesor NYU Gary Marcus - "dheweke durung nate nyumbang apa-apa kanggo AI" - lan Jürgen Schmidhuber, co-direktur Dalle Molle Institute for Artificial Intelligence Research - "iku gampang banget kanggo nandur bendera."
Ngluwihi kritik, titik sing luwih penting sing digawe dening LeCun yaiku masalah dhasar tartamtu ngadhepi kabeh AI, utamane, carane ngukur informasi.
"Sampeyan kudu njupuk langkah maneh lan ngomong, Oke, kita dibangun andha iki, nanging kita arep menyang rembulan, lan ora ana cara andha iki arep kanggo njaluk kita ana,"Says LeCun saka kepinginan kanggo pituduh rethinking. saka konsep dhasar. "Sejatine, sing daktulis ing kene yaiku, kita kudu nggawe roket, aku ora bisa menehi katrangan babagan carane nggawe roket, nanging iki minangka prinsip dhasar."
Makalah, lan pikirane LeCun ing wawancara, bisa dimangerteni luwih apik kanthi maca wawancara LeCun ing awal taun iki karo ZDNet kang udur kanggo learning poto-diawasi adhedhasar energi minangka path maju kanggo learning jero. Renungan kasebut menehi raos pendekatan inti kanggo apa sing dikarepake bakal dibangun minangka alternatif kanggo perkara sing diklaim ora bakal tekan garis finish.
Ing ngisor iki minangka transkrip wawancara sing diowahi kanthi entheng.
ZDNet: Subyek obrolan kita yaiku kertas iki, "A path menyang intelijen mesin otonom," sing versi 0.9.2 minangka versi sing isih ana, ya?
Yann LeCun: Ya, aku nganggep iki minangka dokumen kerja. Dadi, aku dikirim ing Open Review, ngenteni wong menehi komentar lan saran, bisa uga referensi tambahan, banjur aku bakal ngasilake versi sing wis direvisi.
ZDNet: Aku weruh sing Juergen Schmidhuber wis nambah sawetara komentar kanggo Open Review.
YL: Inggih, ya, dheweke tansah. Aku nyebutake salah sawijining makalah ing koranku. Aku mikir bantahan sing digawe ing jaringan sosial sing dheweke nggawe kabeh iki ing taun 1991, kaya sing ditindakake ing kasus liyane, ora kaya ngono. Maksudku, iku gampang banget kanggo nindakakegendéra-nandur, lan kanggo, jenis-saka, nulis idea tanpa nyobi sembarang, tanpa teori sembarang, mung suggest sing bisa nindakake iku cara iki. Nanging, sampeyan ngerti, ana prabédan gedhe antarane mung duwe gagasan, banjur njaluk iku kanggo nggarap masalah dolanan, banjur njaluk iku kanggo nggarap masalah nyata, banjur nindakake teori sing nuduhake apa iku bisa, banjur. deploying iku. Ana kabeh rantai, lan ide babagan kredit ilmiah yaiku wong pisanan sing mung duwe ide, sing kudu entuk kabeh kredit. Lan sing konyol.
ZDNet: Aja percaya kabeh sing sampeyan krungu ing media sosial.
YL: Maksudku, koran utama sing dakcritakake ora ana gagasan utama sing dakkandhakake ing koran kasebut. Dheweke uga nindakake iki karo GAN lan liya-liyane, sing ora bener. Nanem gendera gampang, luwih angel menehi sumbangan. Lan, kanthi cara kasebut, ing makalah tartamtu iki, aku kanthi tegas ujar manawa iki dudu kertas ilmiah kanthi istilah sing biasa. Iku luwih saka kertas posisi bab ngendi iku kudu pindhah. Lan ana sawetara gagasan sing bisa uga anyar, nanging umume ora. Aku ora ngakoni prioritas apa wae sing daktulis ing kertas kasebut, utamane.
Learning reinforcement uga ora bakal cukup, LeCun njaga. Peneliti kayata David Silver saka DeepMind, sing ngembangake program AlphaZero sing nguwasani Catur, Shogi lan Go, "basis banget tumindak," ujare LeCun, nanging "sebagéan gedhé sinau sing kita lakoni, ora kita lakoni kanthi bener. tumindak, kita nindakake kanthi ngamati."
ZDNet: Lan mbok menawa iki minangka papan sing apik kanggo miwiti, amarga aku kepengin weruh kenapa saiki sampeyan ngetutake dalan iki? Apa sampeyan mikir babagan iki? Napa sampeyan pengin nulis iki?
YL: Dadi, aku wis suwe banget mikir babagan iki, babagan dalan menyang intelijen tingkat manungsa utawa tingkat kewan utawa sinau lan kemampuan. Lan, ing obrolanku, aku wis ngomong babagan kabeh babagan iki, mula sinau sing diawasi lan sinau penguatan ora cukup kanggo niru jinis sinau sing kita deleng ing kewan lan manungsa. Aku wis nindakake iki kanggo kaya pitu utawa wolung taun. Dadi, ora anyar. Aku duwe intine ing NeurIPS pirang-pirang taun kepungkur ing ngendi aku nggawe titik kasebut, ateges, lan macem-macem ceramah, ana rekaman. Saiki, kok nulis kertas saiki? Aku wis tekan titik - [peneliti Google Brain] Geoff Hinton wis nindakake sing padha - Maksudku, mesthi, dheweke luwih akeh tinimbang aku, kita ndeleng wektu entek. Kita ora enom.
ZDNet: Sewidak iku seket anyar.
YL: Pancen bener, nanging titik kasebut, kita ndeleng akeh pratelan babagan apa sing kudu ditindakake kanggo maju menyang AI tingkat manungsa. Lan ana gagasan sing dakanggep salah arah. Dadi, siji gagasan, Oh, kita mung kudu nambah pertimbangan simbolis ing ndhuwur jaring saraf. Lan aku ora ngerti carane nindakake iki. Dadi, mbok menawa apa sing dak jelasake ing koran bisa dadi salah sawijining pendekatan sing bakal nindakake perkara sing padha tanpa manipulasi simbol sing jelas. Iki minangka jinis tradisional Gary Marcuses ing jagad iki. Gary Marcus dudu wong AI, kanthi cara, dheweke minangka psikolog. Dheweke ora tau nyumbang apa-apa kanggo AI. Dheweke wis nindakake pakaryan sing apik banget ing psikologi eksperimen nanging dheweke ora nate nulis kertas sing dideleng ing AI. Dadi, ana wong-wong mau.
Ana [ilmuwan riset prinsip DeepMind] David Silvers saka jagad sing ujar, sampeyan ngerti, ganjaran cukup, dhasar, kabeh babagan sinau penguatan, kita mung kudu nggawe luwih efisien, oke? Lan, aku ora salah, nanging aku mikir langkah-langkah sing dibutuhake kanggo nggawe sinau penguatan luwih efisien, ing dasare, bakal ngilangi sinau penguatan kanggo ngurutake ceri ing kue. Lan bagean utama sing ilang yaiku sinau babagan cara kerjane jagad iki, biasane kanthi pengamatan tanpa tumindak. Sinau penguatan adhedhasar tumindak, sampeyan sinau babagan jagad iki kanthi tumindak lan ndeleng asile.
ZDNet: Lan iku fokus ganjaran.
YL: Iku fokus ganjaran, lan uga tumindak. Dadi, sampeyan kudu tumindak ing jagad iki supaya bisa sinau babagan jagad iki. Lan pratelan utama sing dakkandhakake ing koran babagan sinau sing diawasi dhewe yaiku, umume sinau sing ditindakake, ora ditindakake kanthi bener tumindak, kita nindakake kanthi ngamati. Lan iku banget unorthodox, loro kanggo penguatan learning wong, utamané, nanging uga kanggo akèh psikolog lan ilmuwan kognitif sing mikir sing, ngerti, tumindak - Aku ora ngandika tumindak iku ora penting, iku. is penting. Nanging aku mikir akeh sing kita sinau biasane babagan struktur donya, lan melu, mesthi, interaksi lan tumindak lan muter, lan iku kaya, nanging akeh iku observational.
ZDNet: Sampeyan uga bakal ngatur kanggo obah mati wong Transformer, wong pisanan basa, ing wektu sing padha. Kepiye carane nggawe iki tanpa basa dhisik? Sampeyan bisa ngatur kanggo obah mati akeh wong.
YL: Ya, aku wis biasa. Dadi, ya, ana wong sing kawitan basa, sing ngomong, sampeyan ngerti, kapinteran babagan basa, landasan kapinteran yaiku basa, bla, bla, bla. Nanging sing, jenis, ngilangi kecerdasan kewan. Sampeyan ngerti, kita ora nganti titik ing ngendi mesin cerdas kita duwe akal sehat kaya kucing. Dadi, kenapa ora kita miwiti ing kana? Apa sing ngidini kucing bisa ngerteni jagad saubengé, nindakake perkara sing cukup pinter, lan ngrancang lan liya-liyane, lan asu luwih apik?
Banjur ana kabeh wong sing ngomong, Oh, intelijen iku perkara sosial, ta? Kita pinter amarga kita ngomong karo saben liyane lan kita ijol-ijolan informasi, lan bla, bla, bla. Ana macem-macem spesies nonsosial sing ora tau ketemu wong tuwane sing pinter banget, kayata gurita utawa orangutan.Maksudku, dheweke [orangutan] mesthi dididik dening ibune, nanging dheweke dudu kewan sosial.
Nanging kategori liyane saka wong sing aku bisa obah mati iku wong sing ngandika scaling cukup. Dadi, Sejatine, kita mung nggunakake Transformers gigantic, kita nglatih wong-wong mau ing data multimodal sing melu, ngerti, video, teks, blah, blah, blah. We, jenis-of, petrifykabeh, lan tokenize kabeh, banjur olahraga giganticmodel kanggo nggawe prediksi diskret, Sejatine, lan piye wae AI bakal metu saka iki. Dheweke ora salah, amarga bisa uga dadi komponen sistem cerdas ing mangsa ngarep. Nanging aku rumangsa ora ana potongan penting.
Ana kategori wong liya sing bakal dakcenthang nganggo kertas iki. Lan iku probabilists, probabilists agama. Dadi, wong-wong sing nganggep teori probabilitas minangka kerangka kerja sing bisa digunakake kanggo nerangake pembelajaran mesin. Lan nalika aku nyoba kanggo nerangake ing Piece, iku Sejatine kakehan takon model donya rampung probabilistik. Kita ora ngerti carane nindakake. Ana intractability komputasi. Dadi aku ngusulake kanggo nyelehake kabeh ide iki. Lan mesthi, sampeyan ngerti, iki minangka pilar gedhe sing ora mung sinau mesin, nanging kabeh statistik, sing ngaku minangka formalisme normal kanggo sinau mesin.
Sing liyane -
ZDNet: Sampeyan lagi muter…
YL: - yaiku sing diarani model generatif. Dadi, ide sing sampeyan bisa sinau kanggo prédhiksi, lan sampeyan bisa uga sinau babagan jagad iki kanthi prediksi. Dadi, aku menehi potongan video lan aku takon sistem kanggo prédhiksi apa sing bakal kelakon ing video kasebut. Lan aku bisa njaluk sampeyan prédhiksi pigura video nyata kanthi kabeh rincian. Nanging apa aku argue babagan ing koran iku sing bener kakehan takon lan banget rumit. Lan iki soko aku ngganti pikiranku. Nganti kira-kira rong taun kepungkur, aku biyen dadi advokat apa sing diarani model generatif variabel laten, model sing prédhiksi apa sing bakal kelakon sabanjure utawa informasi sing ilang, bisa uga kanthi bantuan variabel laten, yen prediksi ora bisa. deterministik. Lan aku wis nyerah babagan iki. Lan alesan aku wis nyerah ing iki adhedhasar asil empiris, ngendi wong wis nyoba kanggo aplikasi, urut-urutan, prediksi utawa reconstruction basis latihan saka jinis sing digunakake ing BERTlan model basa gedhe, padha wis nyoba kanggo aplikasi iki kanggo gambar, lan wis Gagal lengkap. Lan alesan iku Gagal lengkap, maneh, amarga saka alangan model probabilistik ngendi iku relatif gampang kanggo prédhiksi token diskret kaya tembung amarga kita bisa ngetung distribusi kemungkinan liwat kabeh tembung ing kamus. Iku gampang. Nanging yen kita takon sistem kanggo gawé distribusi kemungkinan liwat kabeh pigura video bisa, kita ora duwe idea carane parameterize, utawa kita duwe sawetara idea carane parameterize, nanging kita ora ngerti carane kanggo normalake. Iku cocog masalah matematika intractable sing kita ora ngerti carane kanggo ngatasi.
"Kita ora menyang titik ing ngendi mesin cerdas kita duwe akal sehat kaya kucing," ujare Lecun. “Lho, kepriye yen ora diwiwiti? Apa sing ngidini kucing bisa ngerteni jagad saubengé, nindakake perkara sing cukup pinter, lan ngrancang lan liya-liyane, lan asu luwih apik?"
Dadi, mulane aku ujar ayo ninggalake teori kemungkinan utawa kerangka kanggo perkara kaya ngono, sing luwih lemah, model adhedhasar energi. Aku uga wis nyengkuyung babagan iki, nganti pirang-pirang dekade, mula iki dudu perkara anyar. Nanging ing wektu sing padha, ninggalake gagasan model generatif amarga ana akeh perkara ing donya sing ora bisa dingerteni lan ora bisa ditebak. Yen sampeyan insinyur, sampeyan ngarani rame. Yen sampeyan ahli fisika, sampeyan diarani panas. Lan yen sampeyan wong sing sinau mesin, sampeyan nelpon, sampeyan ngerti, rincian sing ora relevan utawa apa wae.
Dadi, conto sing digunakake ing koran, utawa aku wis digunakake ing rembugan, sampeyan pengin sistem prediksi donya sing bisa mbantu mobil nyopir dhewe, ta? Kepengin bisa prédhiksi, luwih dhisik, lintasan kabeh mobil liyane, apa sing bakal kelakon ing obyek liyane sing bisa obah, pejalan kaki, sepedha, bocah sing mlayu ngetutake bal-balan, kaya ngono. Dadi, kabeh jinis perkara ing jagad iki. Nanging ing pinggir dalan, bisa uga ana wit-witan, lan ing dina iki ana angin, dadi godhong-godhongan sing obah-obah ing angin, lan ing mburi wit-witan ana blumbang, lan ana blumbang. Lan iku, ateges, umume fenomena sing ora bisa ditebak. Lan, sampeyan ora pengin model sampeyan mbuwang akeh sumber daya kanggo prédhiksi prekara sing angel diprediksi lan ora ana gandhengane. Mulane, aku nyengkuyung arsitektur embedding gabungan, barang-barang ing ngendi variabel sing sampeyan coba model, sampeyan ora nyoba prédhiksi, sampeyan nyoba nggawe model, nanging mlaku liwat encoder, lan encoder kasebut bisa ngilangi akeh rincian babagan input sing ora relevan utawa rumit banget - ing dasare, padha karo gangguan.
ZDNet: Kita rembugan awal taun iki model basis energi, JEPA lan H-JEPA. Pangertènku, yen aku ngerti sampeyan kanthi bener, apa sampeyan nemokake titik energi sing kurang ing ngendi loro prediksi X lan Y embeddings iki paling padha, sing tegese yen ana manuk dara ing wit ing siji, lan ana soko ing wit. latar mburi pemandangan, iku bisa uga ora dadi titik penting sing nggawe embeddings iki cedhak siji liyane.
YL: bener. Dadi, arsitektur JEPA bener-bener nyoba golek tradeoff, kompromi, antarane ngekstrak perwakilan sing paling informatif babagan input nanging uga bisa diprediksi kanthi tingkat akurasi utawa linuwih. Iku nemokake tradeoff. Dadi, yen duwe pilihan ing antarane mbuwang sumber daya sing akeh kalebu rincian gerakan godhong, banjur model dinamika sing bakal mutusake kepiye godhong-godhongan obah sedetik saka saiki, utawa mung nyelehake ing lantai. mung Sejatine mlaku variabel Y liwat prediktor sing ngilangake kabeh rincian sing, mbokmenawa mung bakal ngilangke amarga iku mung banget hard kanggo model lan dijupuk.
ZDNet: Siji-sijine sing kaget yaiku sampeyan wis dadi panyengkuyung gedhe kanggo ujar "Iku kerjane, kita bakal ngerti mengko teori termodinamika kanggo nerangake." Kene sampeyan wis njupuk pendekatan saka, "Aku ora ngerti carane kita bakal kudu kudu ngatasi iki, nanging aku pengin sijine nerusake sawetara gagasan kanggo mikir bab iku,"Lan Mungkin malah nyedhaki teori utawa hipotesis, ing paling ora. Sing nggumunake amarga akeh wong sing mbuwang dhuwit kanggo nggarap mobil sing bisa ndeleng wong sing mlaku tanpa dipikirake manawa mobil kasebut duwe akal sehat. Lan aku mbayangno sawetara wong-wong mau bakal, ora dicenthang, nanging dheweke bakal ujar, "Ya ora apa-apa, kita ora peduli yen ora duwe akal sehat, kita wis nggawe simulasi, simulasi kasebut apik tenan. lan kita bakal terus nambah, kita bakal terus skala simulasi.
Lan dadi menarik yen sampeyan ana ing posisi saiki, ayo mundur lan mikir babagan apa sing ditindakake. Lan industri ujar manawa kita mung arep nggawe skala, skala, skala, skala, amarga crank kasebut pancen bisa digunakake. Maksudku, crank semikonduktor GPU pancen bisa digunakake.
YL: Ana, kaya, limang pitakonan ing kana. Dadi, maksudku, scaling perlu. Aku ora ngritik kasunyatan sing kita kudu skala. Kita kudu skala. Jaring saraf kasebut dadi luwih apik nalika saya gedhe. Ora ana pitakonan sing kudu kita skala. Lan sing bakal duwe sawetara tingkat akal sehat bakal gedhe. Ora ana cara, aku mikir. Dadi skala apik, perlu, nanging ora cukup. Sing dakkarepake. Iku ora mung scaling. Sing titik pisanan.
Titik kapindho, apa teori dadi luwih dhisik lan kaya ngono. Dadi, aku mikir ana konsep sing luwih dhisik, sampeyan kudu mundur lan ujar, oke, kita wis nggawe tangga iki, nanging kita pengin pindhah menyang rembulan lan ora ana cara tangga iki bakal nggawa kita menyang kana. Dadi, dhasar, sing daktulis ing kene, kita kudu nggawe roket. Aku ora bisa menehi katrangan babagan carane nggawe roket, nanging iki minangka prinsip dhasar. Lan aku ora nulis teori utawa apa wae, nanging bakal dadi roket, oke? Utawa lift ruang utawa apa wae. Kita bisa uga ora duwe kabeh rincian kabeh teknologi. We are nyoba kanggo nggawe sawetara iku bisa, kaya aku wis nggarap JEPA. Embedding gabungan bisa digunakake kanthi apik kanggo pangenalan gambar, nanging nggunakake aplikasi kasebut kanggo nglatih model donya, ana kangelan. Kita lagi nggarap, muga-muga bisa ditindakake soon, nanging kita bisa nemoni sawetara alangan ing kana sing ora bisa diatasi, bisa uga.
Banjur ana gagasan kunci ing koran babagan pertimbangan ing ngendi yen kita pengin sistem bisa ngrancang, sing bisa dianggep minangka wangun penalaran sing prasaja, kudu duwe variabel laten. Ing tembung liya, prekara-prekara sing ora diwilang dening jaringan saraf apa wae, nanging ana - sing nilai disimpulake supaya bisa nyuda sawetara fungsi objektif, sawetara fungsi biaya. Banjur sampeyan bisa nggunakake fungsi biaya iki kanggo drive prilaku sistem. Lan iki dudu ide anyar, ta? Iki banget klasik, kontrol optimal ngendi basis iki bali menyang pungkasan '50s, awal' 60s. Dadi, ora ngaku anyar ing kene. Nanging apa sing dakkandhakake yaiku jinis inferensi iki kudu dadi bagean saka sistem cerdas sing bisa ngrancang, lan prilaku bisa ditemtokake utawa dikontrol ora kanthi prilaku sing disambungake, ora kanthi miring, nanging kanthi fungsi objektif sing drive prilaku - ora drive learning, kudu, nanging drive prilaku. Sampeyan ngerti, kita duwe ing otak kita, lan saben kewan duwe biaya intrinsik utawa motivasi intrinsik kanggo samubarang. Sing njalari bayi-bayi umur sangang sasi kepengin ngadeg. Biaya seneng nalika sampeyan ngadeg, istilah kasebut ing fungsi biaya wis dipasang. Nanging carane sampeyan ngadeg ora, iku sinau.
"Scaling apik, perlu, nanging ora cukup," ujare LeCun saka model basa raksasa kayata program basis Transformer saka macem-macem GPT-3. Para devotées Transformer percaya, "We tokenize kabeh, lan olahraga giganticmodel kanggo nggawe prediksi diskret, lan piye wae AI bakal metu saka iki ...
ZDNet: Mung kanggo ngrampungake titik kasebut, akeh komunitas sinau sing jero katon apik karo perkara sing ora duwe akal sehat. Kayane sampeyan nggawe argumentasi sing cukup jelas ing kene yen ing sawetara titik bakal dadi impasse. Sawetara wong ujar manawa kita ora butuh mobil otonom kanthi akal sehat amarga skala bakal ditindakake. Kayane sampeyan ngomong ora apa-apa yen terus mlaku ing dalan kasebut?
YL: Sampeyan ngerti, aku mikir manawa kita bakal duwe mobil otonom tingkat lima tanpa akal sehat. Nanging masalah karo pendekatan iki, iki bakal dadi sauntara, amarga sampeyan bakal duwe kanggo insinyur neraka metu saka iku. Dadi, sampeyan ngerti, peta kabeh jagad, kabel kabeh jinis prilaku pojok tartamtu, ngumpulake data sing cukup sing sampeyan duwe kabeh, macem-macem, kahanan aneh sing bisa ditemoni ing dalan, bla, bla, bla. Lan guess iku karo cukup investasi lan wektu, sampeyan mung bisa engineered neraka metu saka iku. Nanging pungkasane, bakal ana solusi sing luwih marem lan bisa uga luwih apik sing kalebu sistem sing nindakake tugas sing luwih apik kanggo ngerti cara kerjane jagad iki, lan sampeyan ngerti, sawetara tingkat sing diarani akal sehat. Ora perlu akal sehat tingkat manungsa, nanging sawetara jinis kawruh sing bisa dipikolehi sistem kanthi nonton, nanging ora nonton wong sing nyopir, mung nonton barang sing obah lan ngerti akeh babagan jagad iki, mbangun dhasar latar mburi. kawruh babagan cara kerjane jagad, ing ndhuwur sampeyan bisa sinau nyopir.
Ayo kula njupuk conto sajarah iki. Sesanti komputer klasik iki adhedhasar akèh hardwired, modul direkayasa, ing ndhuwur sing sampeyan bakal duwe, jenis-saka, lapisan lancip learning. Dadi, barang-barang sing dikalahake dening AlexNet ing 2012, sejatine duwe ekstraksi fitur sing digawe kanthi tangan, kaya SIFT [Scale-Invariant Feature Transform (SIFT), teknik visi klasik kanggo ngenali obyek sing penting ing gambar] lan HOG [Histogram of Oriented Gradients, technique klasik liyane] lan macem-macem liyane. Lan banjur lapisan kapindho, urut-saka, fitur tingkat tengah adhedhasar kernels fitur lan apa wae, lan sawetara cara unsupervised. Lan ing ndhuwur iki, sampeyan sijine mesin vektor support, utawa liya classifier relatif prasaja. Lan sing ana, jenis-saka, pipa standar saka agêng-2000s kanggo 2012. Lan sing diganti dening end-to-end convolutional net, ngendi sampeyan ora hardwire iki, sampeyan mung duwe akèh data, lan sampeyan nglatih perkara kasebut saka mburi nganti pungkasan, yaiku pendekatan sing wis suwe saya ajak, nanging sampeyan ngerti, nganti saiki, ora praktis kanggo masalah gedhe.
Ana crita sing padha ing pangenalan wicara ing ngendi, maneh, ana akeh teknik rinci babagan carane sampeyan ngolah data, sampeyan ngekstrak cepstrum skala massa [invers saka Fast Fourier Transform kanggo pangolahan sinyal], banjur sampeyan duwe Hidden Markov Models, karo Urut-saka, arsitektur wis disetel, blah, blah, blah, karo Campuran Gaussians. Dadi, arsitektur sing padha karo sesanti ing ngendi sampeyan duwe front-end gawean tangan, banjur lapisan tengah sing rada ora diawasi, dilatih, lan banjur lapisan sing diawasi ing ndhuwur. Lan saiki wis, ing dasare, dibusak dening jaring saraf end-to-end. Dadi aku kaya ndeleng sing padha karo nyoba sinau kabeh, nanging sampeyan kudu duwe sadurunge, arsitektur sing bener, struktur sing bener.
Wong akeh mobil sing nyopir, wiwitan kayata Waymo lan Wayve, wis "rada optimistis," ujare, kanthi mikir bisa "mbuwang data, lan sampeyan bisa sinau apa wae." Mobil sing nyopir dhewe ing Level 5 ADAS bisa uga, "Nanging sampeyan kudu ngrancang neraka" lan bakal "rapuh" kaya model visi komputer awal.
ZDNet: Apa sing sampeyan ucapake, sawetara wong bakal nyoba ngrancang apa sing saiki ora bisa digunakake kanthi sinau jero kanggo ditrapake, ujare, ing industri, lan dheweke bakal miwiti nggawe barang sing dadi lungse ing visi komputer?
YL: bener. Lan sebagéyan kenapa wong-wong sing nggarap nyopir otonom rada optimis sajrone sawetara taun kepungkur, amarga, sampeyan ngerti, sampeyan duwe barang-barang umum kaya jaring convolutional lan Transformers, sing sampeyan bisa mbuwang data kasebut. , lan bisa sinau babagan apa wae. Dadi, sampeyan ngomong, Oke, aku duwe solusi kanggo masalah kasebut. Wangsulan: Bab ingkang pisanan sampeyan nindakake iku sampeyan nggawe demo ngendi mobil drive dhewe kanggo sawetara menit tanpa babras sapa. Banjur sampeyan ngerti yen ana akeh kasus pojok, lan sampeyan nyoba ngrancang kurva sing luwih apik aku entuk nalika aku tikel kaping pindho set latihan, lan sampeyan ngerti sampeyan ora bakal tekan kono amarga ana macem-macem kasus sudhut. . Lan sampeyan kudu duwe mobil sing bakal nyebabake kacilakan fatal kurang saka saben 200 yuta kilometer, ta? Dadi, apa sing sampeyan lakoni? Inggih, sampeyan mlaku ing rong arah.
Arah pisanan yaiku, kepiye carane bisa nyuda jumlah data sing dibutuhake kanggo sinau sistem? Lan ing kono sinau sing diawasi dhewe. Dadi, akeh klambi mobil sing nyopir dhewe sing kasengsem banget karo sinau sing diawasi dhewe amarga iku cara sing isih nggunakake data pengawasan sing akeh banget kanggo sinau imitasi, nanging entuk kinerja sing luwih apik pra-training, ateges. Lan iku durung cukup panned metu, nanging bakal. Lan banjur ana pilihan liyane, sing umume perusahaan sing luwih maju ing wektu iki wis diadopsi, yaiku, oke, kita bisa nindakake latihan pungkasan, nanging ana akeh kasus pojok sing bisa kita lakoni. t nangani, supaya kita bakal mung engineer sistem sing bakal njupuk care saka kasus sudhut, lan, Sejatine, nambani wong minangka kasus khusus, lan hardwire kontrol, lan banjur hardwire akeh prilaku dhasar kanggo nangani kahanan khusus. Lan yen sampeyan duwe tim insinyur sing cukup gedhe, sampeyan bisa nindakake. Nanging bakal mbutuhake wektu sing suwe, lan ing pungkasan, isih bakal rada rapuh, bisa uga cukup dipercaya sing bisa digunakake, nanging kanthi sawetara tingkat brittleness, sing, kanthi pendekatan sing luwih adhedhasar sinau sing bisa uga katon ing mangsa, mobil ora bakal duwe amarga bisa uga duwe sawetara tingkat pangertèn umum lan pangerten bab carane donya bisa.
Ing wektu sing cendhak, pendekatan sing direkayasa bakal menang - wis menang. Iku Waymo lan Cruise saka donya lan Wayvelan apa wae, sing padha nindakake. Banjur ana pendekatan sinau sing diawasi dhewe, sing bisa uga bakal mbantu pendekatan sing direkayasa supaya bisa maju. Nanging, ing wektu sing suwe, sing bisa uga suwe banget kanggo ngenteni perusahaan kasebut, mesthine bakal dadi sistem nyopir cerdas otonom sing luwih terpadu.
ZDNet: Kita ngomong ngluwihi cakrawala investasi paling akeh investor.
YL: Bener. Dadi, pitakonane, apa wong bakal kelangan kesabaran utawa kehabisan dhuwit sadurunge kinerja tekan level sing dikarepake.
ZDNet: Apa ana sing menarik kanggo ngomong babagan apa sampeyan milih sawetara unsur sing sampeyan pilih ing model kasebut? Amarga sampeyan nyebutake Kenneth Craik [1943,Sifat Katrangan], lan sampeyan nyebutake Bryson lan Ho [1969, Applied kontrol optimal], lan aku kepengin weruh apa sampeyan miwiti karo pengaruh iki, yen sampeyan pracaya utamané sing wong-wong iki wis iku mancep minangka adoh saka apa wis rampung. Napa sampeyan miwiti ing kana?
YL: Ya, aku ora mikir, mesthine, kabeh rincian dipaku. Dadi, Bryson lan Ho, iki buku sing dakwaca ing taun 1987 nalika aku dadi postdoc karo Geoffrey Hinton ing Toronto. Nanging aku ngerti babagan karya iki sadurunge nalika nulis PhD, lan nggawe sambungan antarane kontrol optimal lan backprop, ateges. Yen pancene wanted kanggo dadi, ngerti, Schmidhuber liyane, sampeyan bakal ngomong sing panemu nyata backprop padha bener optimal kontrol theorist Henry J. Kelley, Arthur Bryson, lan mbok menawa malah Lev Pontryagin, sing teori Russian kontrol optimal bali. ing pungkasan '50s.
Dadi, dheweke ngerti, lan nyatane, sampeyan bisa ndeleng oyod iki, matematika ing ngisor iki, yaiku mekanika Lagrangian. Supaya sampeyan bisa bali menyang Euler lan Lagrange, ing kasunyatan, lan jenis golek whiff iki ing definisi mekanika klasik Lagrangian, tenan. Dadi, ing konteks kontrol sing optimal, sing disenengi wong lanang iki yaiku ngitung lintasan roket. Sampeyan ngerti, iki umur ruang awal. Lan yen sampeyan duwe model roket, ngandhani sampeyan ing kene kahanan roket ing wektu kasebut t, lan iki tumindak sing bakal dak lakoni, mula, dorong lan aktuator saka macem-macem jinis, iki kahanan roket ing wektu kasebut. t+1.
ZDNet: Model tumindak negara, model nilai.
YL: Sing bener, dhasar kontrol. Dadi, saiki sampeyan bisa nyinkronake tembakan roket kanthi mbayangake urutan perintah, banjur sampeyan duwe sawetara fungsi biaya, yaiku jarak roket menyang target, stasiun ruang angkasa utawa apa wae. Banjur kanthi sawetara turunan gradien, sampeyan bisa ngerteni, kepiye carane bisa nganyari urutan tumindak supaya roketku bisa nyedhaki target. Lan sing kudu teka dening bali-propagating sinyal mundur ing wektu. Lan iku back-propagation, gradient back-propagation. Sinyal kasebut, diarani variabel konjugasi ing mekanika Lagrangian, nanging nyatane, iku gradien. Dadi, dheweke nggawe backprop, nanging dheweke ora ngerti yen prinsip iki bisa digunakake kanggo nglatih sistem multi-tahap sing bisa nindakake pangenalan pola utawa liya-liyane. Iki ora diwujudake nganti pungkasan taun 70-an, awal 80-an, lan banjur ora ditindakake lan ditindakake nganti pertengahan 80-an. Oke, dadi, iki ngendi backprop tenan, jenis-of, njupuk mati amarga wong nuduhake kene sawetara baris kode sing sampeyan bisa nglatih jaringan saraf, end to end, multilayer. Lan sing ngangkat watesan saka Perceptron. Lan, ya, ana sambungan karo kontrol optimal, nanging ora apa-apa.
ZDNet: Dadi, iki minangka cara sing dawa kanggo ujar manawa pengaruh sing sampeyan wiwiti bakal bali menyang backprop, lan iki penting minangka titik wiwitan kanggo sampeyan?
YL: Ya, nanging aku mikir apa sing dilalekake wong, ana sawetara karya babagan iki, sampeyan ngerti, ing taun 90-an, utawa malah taun 80-an, kalebu wong kaya Michael Jordan [MIT Dept. of Brain. lan Ilmu Kognitif] lan wong kaya sing ora nindakake jaring syaraf maneh, nanging idea sing bisa nggunakake jaringan syaraf kanggo kontrol, lan sampeyan bisa nggunakake gagasan klasik kontrol optimal. Dadi, kaya sing diarani kontrol model-prediktif, sing saiki diarani kontrol model-prediktif, ide iki sing bisa disimulasi utawa mbayangake asil saka urutan tumindak yen sampeyan duwe model sistem sing apik sing sampeyan coba kontrol. lan lingkungan iku ing. Lan banjur dening gradien keturunan, ateges — iki ora sinau, iki kesimpulan — sampeyan bisa tokoh metu apa urutan paling apik saka tumindak sing bakal nyilikake adil. Dadi, panggunaan fungsi biaya kanthi variabel laten kanggo inferensi yaiku, aku mikir, sing saiki wis dilalekake dening jaring saraf skala gedhe. Nanging iki minangka komponen pembelajaran mesin sing klasik banget kanggo wektu sing suwe. Dadi, saben Bayesian Net utawa model grafis utawa model grafis probabilistik nggunakake jinis inferensi iki. Sampeyan duwe model sing njupuk dependensi antarane Bunch saka variabel, sampeyan marang ing Nilai saka sawetara variabel, banjur sampeyan kudu infer Nilai paling kamungkinan saka liyane saka variabel. Iki minangka prinsip dasar inferensi ing model grafis lan Bayesian Nets, lan liya-liyane. Lan aku mikir sing Sejatine apa alesan kudu bab, pertimbangan lan planning.
ZDNet: Sampeyan iku Bayesian lemari.
YL: Aku Bayesian non-probabilistik. Aku nggawe guyonan sing sadurunge. Aku pancene ana ing NeurIPS sawetara taun kepungkur, aku mikir ing taun 2018 utawa 2019, lan aku kejiret ing video dening Bayesian sing takon yen aku wong Bayesian, lan aku kandha, Ya, aku wong Bayesian, nanging aku Aku Bayesian non-probabilistik, urut-saka, Bayesian basis energi, yen sampeyan pengin.
ZDNet: Kang mesthi muni kaya soko saka star Trek. Sampeyan kasebut ing pungkasan makalah iki, bakal mbutuhake pirang-pirang taun kerja keras kanggo mujudake apa sing sampeyan bayangake. Marang kula bab apa sawetara sing karya ing wayahe kasusun saka.
YL: Dadi, aku nerangake carane sampeyan nglatih lan mbangun JEPA ing koran. Lan kritéria sing dakkarepake yaiku duwe sawetara cara kanggo ngoptimalake isi informasi sing ana ing perwakilan sing diekstrak babagan input. Banjur sing nomer loro yaiku nyuda kesalahan prediksi. Lan yen sampeyan duwe variabel laten ing prediktor sing ngidini prediktor dadi non deterministik, sampeyan kudu regularize uga variabel laten iki kanthi nyilikake isi informasi. Dadi, sampeyan duwe rong masalah saiki, yaiku carane sampeyan nggedhekake isi informasi saka output sawetara jaringan saraf, lan sing liyane yaiku carane sampeyan nyilikake isi informasi saka sawetara variabel laten? Lan yen sampeyan ora nindakake rong perkara kasebut, sistem kasebut bakal ambruk. Ora bakal sinau apa-apa sing menarik. Iku bakal menehi energi nul kanggo kabeh, kaya sing, kang ora model apik saka dependensi. Iku masalah ambruk-Nyegah sing aku sebutno.
Lan aku ngomong kabeh bab sing wong wis tau rampung, mung ana rong kategori cara kanggo nyegah ambruk. Salah sijine yaiku metode kontrastif, lan liyane yaiku metode sing teratur. Dadi, gagasan iki kanggo nggedhekake isi informasi saka perwakilan saka loro input lan minimalake isi informasi saka variabel laten, sing belongs kanggo cara regularized. Nanging akeh karya ing arsitektur embedding gabungan kasebut nggunakake metode kontrastif. Nyatane, dheweke bisa uga paling populer saiki. Dadi, pitakonan persis carane sampeyan ngukur isi informasi kanthi cara sing bisa ngoptimalake utawa nyilikake? Lan ing kana kedadeyan dadi rumit amarga kita ora ngerti carane ngukur isi informasi. Kita bisa ngira-ira, kita bisa munggah ing ndhuwur, kita bisa nindakake kaya ngono. Nanging padha ora bener ngukur isi informasi, kang, bener, kanggo sawetara ombone malah ora well-ditetepake.
ZDNet: Iku dudu Hukum Shannon? Iku ora teori informasi? Sampeyan wis entuk jumlah tartamtu saka entropi, entropi apik lan entropi ala, lan entropi apik iku sistem simbol sing dianggo, entropi ala iku gangguan. Apa ora kabeh ditanggulangi dening Shannon?
YL: Sampeyan bener, nanging ana cacat utama. Sampeyan pancen bener yen sampeyan duwe data sing teka lan sampeyan bisa ngetung data dadi simbol diskrit, banjur ngukur kemungkinan saben simbol kasebut, mula jumlah maksimal informasi sing digawa dening simbol kasebut yaiku jumlah liwat simbol bisa saka Pi log Pi, bener? ngendi Pi punika kemungkinan simbol aku— iku entropi Shannon. [Hukum Shannon biasane dirumusake minangka H = – ∑ pi log pi.]
Punika masalah, sanadyan: Apa Pi? Iku gampang nalika nomer simbol cilik lan simbol sing digambar independen. Nalika ana akeh simbol, lan dependensi, iku banget hard. Dadi, yen sampeyan duwe urutan bit lan sampeyan nganggep bit kasebut bebas saka siji liyane lan kemungkinan padha antarane siji lan nol utawa apa wae, mula sampeyan bisa ngukur entropi kanthi gampang, ora masalah. Nanging yen barang-barang sing teka sampeyan minangka vektor dimensi dhuwur, kaya, sampeyan ngerti, pigura data, utawa kaya iki, apa Pi? Apa distribusi? Pisanan sampeyan kudu ngetung spasi kasebut, yaiku papan sing terus-terusan dimensi dhuwur. Sampeyan ora ngerti carane ngitung iki kanthi bener. Sampeyan bisa nggunakake k-means, lan liya-liyane. Iki sing ditindakake wong nalika nindakake kompresi video lan kompresi gambar. Nanging mung kira-kira. Banjur sampeyan kudu nggawe asumsi kamardikan. Dadi, jelas yen ing video, pigura berturut-turut ora mandiri. Ana dependensi, lan pigura kasebut bisa uga gumantung ing pigura liyane sing sampeyan deleng jam kepungkur, yaiku gambar sing padha. Dadi, sampeyan ngerti, sampeyan ora bisa ngukur Pi. Kanggo ngukur Pi, sampeyan kudu duwe sistem machine learning sing sinau kanggo prédhiksi. Lan supaya sampeyan bali menyang masalah sadurunge. Dadi, sampeyan mung bisa ngira ukuran informasi, intine.
"Pitakonan iku persis carane sampeyan ngukur isi informasi kanthi cara sing bisa ngoptimalake utawa nyilikake?" ngandika LeCun. "Lan ing kana dadi rumit amarga kita ora ngerti carane ngukur isi informasi." Sing paling apik sing bisa ditindakake nganti saiki yaiku golek proxy sing "cukup apik kanggo tugas sing dikarepake."
Ayo kula njupuk conto sing luwih konkrit. Salah siji saka algoritma sing kita wis muter karo, lan aku wis ngedika bab ing Piece, bab iki disebut VICReg, varians-invariance-covariance regularization. Iku ing kertas kapisah sing diterbitake ing ICLR, lan iki dipasang ing arXiv udakara setaun sadurunge, 2021. Lan ide ana kanggo nggedhekake informasi. Lan ide kasebut bener-bener metu saka kertas sadurunge dening klompokku sing diarani Barlow Kembar. Sampeyan nggedhekake isi informasi saka vektor sing metu saka jaringan saraf kanthi, ing asas, assuming sing mung katergantungan antarane variabel korélasi, ketergantungan linear. Dadi, yen sampeyan nganggep mung siji-sijine ketergantungan sing bisa ditindakake ing antarane pasangan variabel, utawa ing antarane variabel ing sistem sampeyan, yaiku korélasi antarane pasangan barang-barang berharga, yaiku perkiraan sing kasar banget, mula sampeyan bisa nggedhekake isi informasi sing metu saka sistem sampeyan. kanthi nggawe manawa kabeh variabel duwe non-nol varians - ayo kang ngomong, varians siji, iku ora Matter apa iku - lan banjur bali-correlated mau, proses padha sing disebut whitening, iku ora anyar uga. Masalah karo iki yaiku sampeyan bisa duwe dependensi sing kompleks banget ing antarane klompok variabel utawa malah mung pasangan variabel sing ora dependensi linier, lan ora katon ing korélasi. Dadi, contone, yen sampeyan duwe rong variabel, lan kabeh titik saka rong variabel kasebut ana ing sawetara spiral, ana ketergantungan sing kuat ing antarane rong variabel kasebut, ta? Nanging nyatane, yen sampeyan ngitung korélasi antarane rong variabel kasebut, ora ana hubungane. Dadi, ing ngisor iki conto isi informasi saka rong variabel kasebut sejatine sithik banget, mung siji jumlah amarga posisi sampeyan ing spiral. Padha de-correlated, supaya sampeyan mikir sing duwe akèh informasi metu saka loro variabel nalika nyatane ora, sampeyan mung duwe, ngerti, sampeyan bisa prédhiksi siji saka variabel saka liyane, ateges. Dadi, sing nuduhake yen kita mung duwe cara sing kira-kira banget kanggo ngukur isi informasi.
ZDNet: Lan dadi salah sawijining perkara sing kudu sampeyan lakoni saiki? Iki minangka pitakonan sing luwih gedhe babagan kepiye ngerti yen kita nggedhekake lan nyuda isi informasi?
YL: Utawa apa proxy sing digunakake kanggo iki cukup apik kanggo tugas sing dikarepake. Nyatane, kita nindakake iki kabeh wektu ing machine learning. Fungsi biaya sing kita minimalake ora dadi sing bener-bener pengin diminimalisir. Dadi, contone, sampeyan pengin nggawe klasifikasi, oke? Fungsi biaya sing pengin dikurangi nalika sampeyan nglatih klasifikasi yaiku jumlah kesalahan sing ditindakake dening pengklasifikasi. Nanging iki minangka fungsi biaya sing ora bisa dibedakake lan nggegirisi sing ora bisa dikurangi amarga sampeyan ngerti sampeyan bakal ngganti bobot jaringan saraf, ora ana sing bakal diganti nganti salah sawijining conto kasebut mbalik keputusane, banjur mlumpat. ing kesalahan, positif utawa negatif.
ZDNet: Dadi, sampeyan duwe proxy sing minangka fungsi objektif sing bisa diucapake, mesthine bisa ngetutake gradien babagan iki.
YL: Bener. Dadi wong nggunakake mundhut salib-entropi iki, utawa SOFTMAX, sampeyan duwe sawetara jeneng kanggo, nanging iku padha. Lan Sejatine iku panyerakan Gamelan saka jumlah kasalahan sing sistem ndadekake, ngendi smoothing wis rampung dening, Sejatine, njupuk menyang akun skor sing sistem menehi kanggo saben kategori.
ZDNet: Apa ana sing durung kita bahas sing pengin sampeyan tutupi?
YL: Iku mbokmenawa nandheske TCTerms utama. Aku mikir sistem AI kudu bisa nalar, lan proses iki sing dakkarepake yaiku nyilikake sawetara objektif babagan sawetara variabel laten. Sing ngidini sistem kanggo ngrancang lan alasan. Aku mikir kita kudu nglirwakake kerangka probabilistik amarga ora bisa ditindakake nalika kita pengin nindakake prekara kaya ketergantungan ing antarane variabel sing terus-terusan dimensi dhuwur. Lan aku nyaranake ninggalake model generatif amarga sistem kasebut kudu nyawisake sumber daya sing akeh banget kanggo prédhiksi prekara sing angel banget diprediksi lan bisa uga nggunakake sumber daya sing akeh banget. Lan sing cukup akeh iku. Sing pesen utama, yen sampeyan pengin. Lan banjur arsitektur sakabèhé. Banjur ana spekulasi babagan sifat eling lan peran configurator, nanging iki pancen spekulasi.
ZDNet: Kita bakal entuk wektu sabanjure. Aku arep takon sampeyan, carane sampeyan benchmark bab iki? Nanging aku kira sampeyan luwih adoh saka benchmarking saiki?
YL: Ora kudu sing adoh ing, Urut-saka, versi simplified. Sampeyan bisa nindakake apa sing ditindakake saben wong ing kontrol utawa sinau penguatan, yaiku, sampeyan nglatih perkara kasebut kanggo main game Atari utawa kaya ngono utawa sawetara game liyane sing duwe kahanan sing durung mesthi.
ZDNet: Matur nuwun kanggo wektu sampeyan, Yann.
English
Arabic
Belarusian
Bengali
Bosnian
Bulgarian
Chinese (Simplified)
Croatian
Czech
Danish
Dutch
English
Estonian
Filipino
Finnish
French
Georgian
German
Greek
Gujarati
Hausa
Hebrew
Hindi
Hmong
Hungarian
Igbo
Indonesian
Italian
Japanese
Javanese
Kazakh
Korean
Kurdish (Kurmanji)
Kyrgyz
Lao
Latvian
Lithuanian
Macedonian
Malagasy
Norwegian
Persian
Polish
Portuguese
Punjabi
Romanian
Russian
Serbian
Slovak
Slovenian
Spanish
Swedish
Thai
Turkish
Ukrainian
Vietnamese
Yoruba