Keep Calm and Stay Smart
04:29
A Meta mesterséges intelligencia-guruja, LeCun: A legtöbb mai mesterséges intelligencia soha nem vezet valódi intelligenciához
„Úgy gondolom, hogy az AI-rendszereknek képesnek kell lenniük az érvelésre” – mondja Yann LeCun, a Meta vezető mesterséges intelligencia-tudósa. A mai népszerű mesterséges intelligencia-megközelítések, mint például a Transformers, amelyek közül sok a saját, ezen a területen végzett úttörő munkájára épül, nem lesz elegendő. „Egy lépést hátra kell lépnie, és azt kell mondania: Oké, mi építettük ezt a létrát, de fel akarunk jutni a Holdra, és ez a létra semmiképpen sem visz el minket” – mondja LeCun.
Yann LeCun, vezető mesterséges intelligencia tudós A Meta Properties, a Facebook, az Instagram és a WhatsApp tulajdonosa valószínűleg sok embert kipipál majd a saját területén.
Egy gondolatdarab júniusi közzétételével az Open Review szerveren, LeCun átfogó áttekintést nyújtott egy olyan megközelítésről, amely szerinte ígéretes az emberi szintű intelligencia elérésében a gépekben.
Népszerű most
Az a feltételezés, ha nem is fogalmazódik meg a cikkben, az az állítás, hogy a legtöbb mai mesterséges intelligencia-projekt soha nem lesz képes elérni ezt az emberi szintű célt.
Egy beszélgetésben ebben a hónapban ZDNet A Zoomon keresztül LeCun világossá tette, hogy nagy szkepticizmussal tekint a mély tanulás jelenlegi legsikeresebb kutatási irányaira.
„Szerintem szükségesek, de nem elegendőek” – mondta a Turing-díjas ZDNet társai törekvéseiről.
Ezek közé tartoznak a nagy nyelvi modellek, például a Transformer-alapú GPT-3 és hasonlók. Ahogy LeCun jellemzi, a Transformer hívei úgy vélik: „Mindent jelképezünk, és óriásit edzünkmodelleket, hogy diszkrét előrejelzéseket készítsenek, és a mesterséges intelligencia valahogy ki fog emelkedni ebből.”
„Nem tévednek – mondja –, abban az értelemben, hogy ez egy jövőbeli intelligens rendszer alkotóeleme lehet, de szerintem hiányoznak belőle a lényeges részek.”
Továbbá: A Meta mesterséges intelligencia világítóteste, LeCun a mély tanulás energiahatárait kutatja
Ez egy megdöbbentő kritikája annak a tudóstól, ami úgy tűnik, hogy működik, aki tökéletesítette a konvolúciós neurális hálózatok használatát, egy gyakorlati technikát, amely hihetetlenül eredményes a mély tanulási programokban.
LeCun a tudományág számos más rendkívül sikeres területén lát hibákat és korlátokat.
A megerősített tanulás sem lesz soha elég, állítja. A kutatók, például David Silver, a DeepMind munkatársa, aki kifejlesztette a sakkot, a shogit és a go-t elsajátító AlphaZero programot, azokra a programokra összpontosítanak, amelyek „nagyon cselekvés-alapúak” – jegyzi meg LeCun, de „a legtöbb tanulást nem mi tanuljuk meg. tegyük úgy, hogy ténylegesen cselekedünk, mi pedig megfigyeléssel tesszük.”
A 62 éves Lecun, több évtizedes sikerek távlatából, mindazonáltal sürgeti, hogy szembeszálljon a szerinte a vakvágányokkal, amelyek felé sokan rohannak, és megpróbálja a területét abba az irányba terelni, amerre szerinte a dolgoknak menniük kell.
„Sok állítást látunk arra vonatkozóan, hogy mit kell tennünk az emberi szintű mesterséges intelligencia irányába történő előrelépés érdekében” – mondja. "És vannak olyan ötletek, amelyek szerintem rosszul irányultak."
„Még nem jutottunk el odáig, hogy intelligens gépeinknek annyi józan esze legyen, mint egy macskának” – jegyzi meg Lecun. – Szóval, miért nem kezdjük ott?
Feladta a generatív hálózatok használatába vetett korábbi hitét olyan dolgokban, mint például a videó következő képkockájának előrejelzése. „Teljes kudarc volt” – mondja.
LeCun helyteleníti azokat, akiket „vallási valószínűségi jelzőknek” nevez, akik „azt gondolják, hogy a valószínűségszámítás az egyetlen keret, amellyel megmagyarázhatja a gépi tanulást”.
A tisztán statisztikai megközelítés megoldhatatlan, mondja. „Túl sok kérni egy világmodelltől, hogy teljesen valószínűségi legyen; nem tudjuk, hogyan tegyük.”
Nemcsak az akadémikusoknak, hanem az ipari AI-nak is mélyreható újragondolásra van szüksége, érvel LeCun. Az önvezető autók tömege, az olyan startupok, mint a Wayve, „kicsit túl optimisták” – mondja –, és azt gondolták, hogy „adatokat dobhatnak” a nagy neurális hálózatokra, „és szinte bármit meg lehet tanulni”.
„Tudod, teljesen lehetségesnek tartom, hogy XNUMX. szintű autonóm autóink lesznek józan ész nélkül” – mondja az „ADAS”-ra utalva. fejlett vezetőtámogató rendszer az önvezetésre vonatkozó kifejezések, „de a pokolba kell terveznie.”
Az ilyen túltervezett önvezető technológia olyan csikorgó és törékeny lesz, mint az összes számítógépes látásprogram, amelyet a mély tanulás tette elavulttá, véli.
"Végső soron lesz egy kielégítőbb és valószínűleg jobb megoldás, amely olyan rendszereket foglal magában, amelyek jobban megértik a világ működését."
Népszerű most
Útközben LeCun néhány elsorvadó nézetet ad legnagyobb kritikusairól, mint például a New York-i egyetem professzoráról, Gary Marcusról – „soha nem járult hozzá az AI-hoz” – és Jürgen Schmidhuberhez, a Dalle Molle Mesterséges Intelligencia Kutatóintézet társigazgatójához – „ez nagyon egyszerű a zászlókiültetés.”
A kritikákon túl LeCun fontosabb észrevétele az, hogy bizonyos alapvető problémák az egész mesterséges intelligenciával szembesülnek, különösen az információ mérése.
„Egy lépést hátra kell tenned, és azt kell mondanod: oké, mi építettük ezt a létrát, de fel akarunk jutni a Holdra, és ez a létra semmiképpen sem visz el minket” – mondja LeCun arról a vágyáról, hogy újragondolásra késztessen. alapfogalmak. "Alapvetően, amit itt írok, rakétákat kell építenünk, nem tudok részletezni, hogyan építünk rakétákat, de itt vannak az alapelvek."
Az újság és LeCun gondolatai az interjúban jobban megérthetők, ha elolvassa LeCun év eleji interjúját ZDNet amelyben az energiaalapú önfelügyelt tanulás mellett érvel a mély tanuláshoz vezető útként. Ezek az elmélkedések érzékeltetik azt az alapvető megközelítést, amit remél, hogy alternatívaként építsen fel olyan dolgokra, amelyekről azt állítja, hogy nem érnek célba.
Az alábbiakban az interjú enyhén szerkesztett átirata olvasható.
ZDNet: Csevegésünk témája ez az „Út az autonóm gépi intelligencia felé” című írás, amelynek a 0.9.2-es verziója a jelenlegi verzió, igaz?
Yann LeCun: Igen, ezt egyfajta munkadokumentumnak tartom. Tehát közzétettem az Open Review-on, várva, hogy az emberek megjegyzéseket és javaslatokat tegyenek, esetleg további hivatkozásokat, majd elkészítem a javított verziót.
ZDNet: Úgy látom, Juergen Schmidhuber már hozzáfűzött néhány megjegyzést az Open Review-hoz.
YL: Hát igen, mindig csinálja. Idézem az egyik dolgozatát ott az újságomban. Szerintem azok az érvek, amelyeket a közösségi oldalakon felhozott, hogy alapvetően ő találta ki mindezt 1991-ben, ahogy más esetekben is, egyszerűen nem igazak. Úgy értem, nagyon könnyű megtennizászlóültetés, és valamiféle kísérletezés, elmélet nélkül írj ötletet, csak javasold, hogy ezt így is megtehetnéd. De tudod, van egy nagy különbség aközött, hogy csak megvan az ötlet, aztán ráveszem, hogy egy játékproblémán dolgozzon, aztán egy valós problémán dolgozzon, és azután elkészítünk egy elméletet, amely megmutatja, miért működik, és ezután bevetve azt. Létezik egy egész lánc, és az ő elképzelése a tudományos hitelről az, hogy ez az első ember, akinek valahogy, tudod, hogy ez eszébe jutott, az kell, hogy legyen minden elismerés. És ez nevetséges.
ZDNet: Ne higgy el mindent, amit a közösségi médiában hallasz.
YL: Úgy értem, a fő újságban, amelyről azt mondja, hogy idéznem kellene, nincs olyan fő gondolat, amelyről az újságban beszélek. Ezt csinálta a GAN-okkal és más dolgokkal is, ami nem bizonyult igaznak. Zászlóültetést könnyű csinálni, közreműködni sokkal nehezebb. És mellesleg ebben a cikkben kifejezetten azt mondtam, hogy ez nem tudományos cikk a kifejezés szokásos értelmében. Inkább egy állásfoglalás arról, hogy ennek a dolognak hova kell mennie. És van néhány ötlet, ami új lehet, de a legtöbb nem az. Lényegében nem tartok igényt semmiféle elsőbbségre, amit abban az újságban írtam.
A megerősített tanulás sem lesz soha elég, állítja LeCun. A kutatók, például David Silver, a DeepMind munkatársa, aki kifejlesztette a sakkot, a shogit és a go-t elsajátító AlphaZero programot, „nagyon cselekvés-alapúak” – jegyzi meg LeCun, de „a legtöbb tanulást nem úgy végezzük, hogy ténylegesen tanulunk. a cselekvéseket megfigyeléssel tesszük.”
ZDNet: És talán ez egy jó kiindulópont, mert kíváncsi vagyok, miért követte ezt az utat most? Mi jutott eszedbe erről? Miért akartad ezt írni?
YL: Nos, nagyon régóta gondolkodom ezen, az emberi vagy állati szintű intelligencia vagy tanulás és képességek felé vezető úton. És a beszédeim során elég hangosan hangoztattam ezt az egészet, hogy mind a felügyelt tanulás, sem a megerősített tanulás nem elegendő ahhoz, hogy utánozza azt a fajta tanulást, amelyet állatoknál és embereknél megfigyelünk. Valami hét-nyolc éve csinálom ezt. Szóval nem friss. Sok évvel ezelőtt volt egy vitaindító előadásom a NeurIPS-en, ahol lényegében ezt fejtettem ki, és különféle előadások, felvételek vannak. Most miért írjunk dolgozatot? Eljutottam a lényegre – [a Google agykutatója] Geoff Hinton is csinált valami hasonlót – úgy értem, ő minden bizonnyal jobban, mint én, látjuk, hogy fogy az idő. Nem vagyunk fiatalok.
ZDNet: Hatvan az új ötven.
YL: Ez igaz, de a lényeg az, hogy sok állítást látunk arra vonatkozóan, hogy mit kell tennünk az emberi szintű AI felé. És vannak ötletek, amelyek szerintem rosszul irányultak. Tehát az egyik ötlet az, hogy Ó, csak szimbolikus érvelést kellene hozzáadnunk a neurális hálókhoz. És nem tudom, hogyan kell ezt csinálni. Szóval, amit a cikkben kifejtettem, az lehet az egyik megközelítés, amely ugyanezt tenné, kifejezett szimbólummanipuláció nélkül. Ez a fajta hagyományosan Gary Marcuses a világban. Gary Marcus egyébként nem mesterséges intelligencia, hanem pszichológus. Soha nem járult hozzá az AI-hoz. Nagyon jó munkát végzett a kísérleti pszichológiában, de még soha nem írt lektorált tanulmányt az AI-ról. Szóval ott vannak azok az emberek.
Van a [DeepMind elv kutatója] David Silvers a világból, aki azt mondja, tudod, a jutalom elég, alapvetően a megerősített tanulásról szól, csak egy kicsit hatékonyabbá kell tennünk, oké? És úgy gondolom, hogy nem tévednek, de úgy gondolom, hogy a megerősítő tanulás hatékonyabbá tételéhez szükséges lépések alapvetően a megerősítő tanulást egyfajta cseresznye a tortán helyezése jelentené. A fő hiányzó rész pedig a világ működésének megismerése, többnyire cselekvés nélküli megfigyeléssel. A megerősítő tanulás nagyon cselekvés-alapú, azáltal tanul meg dolgokat a világról, hogy cselekszik, és látja az eredményeket.
ZDNet: És jutalom-központú.
YL: Jutalom-központú, és akcióközpontú is. Tehát a világban kell cselekedned, hogy megtudj valamit a világról. És a fő állításom az önfelügyelt tanulással kapcsolatban az, hogy a legtöbb tanulást nem tényleges cselekvéssel, hanem megfigyeléssel tesszük. És ez nagyon szokatlan, különösen a megerősített tanulók számára, de sok pszichológus és kognitív tudós számára is, akik úgy gondolják, hogy a cselekvés – nem azt mondom, hogy a cselekvés nem elengedhetetlen, hanem is alapvető. De úgy gondolom, hogy a tanultak nagy része leginkább a világ szerkezetéről szól, és természetesen interakciót, cselekvést, játékot és hasonló dolgokat foglal magában, de sok minden megfigyelésből származik.
ZDNet: Egyúttal sikerül kipipálnod a Transformer embereket, a nyelv-első embereket is. Hogyan lehet ezt először nyelv nélkül felépíteni? Lehet, hogy sok embert sikerül kipipálnod.
YL: Igen, megszoktam. Szóval igen, ott vannak a nyelv-első emberek, akik azt mondják, tudod, az intelligencia a nyelvről szól, az intelligencia szubsztrátja a nyelv, bla, bla, bla. De ez valahogy elveti az állati intelligenciát. Tudod, még nem vagyunk ott, hogy az intelligens gépeinknek annyi józan esze legyen, mint egy macskának. Szóval miért nem kezdjük ott? Mi az, ami lehetővé teszi egy macskának, hogy felfogja a környező világot, elég okos dolgokat csináljon, tervezzen és hasonlókat, a kutyák pedig még jobban?
Aztán ott vannak, akik azt mondják: Ó, az intelligencia társadalmi dolog, igaz? Intelligensek vagyunk, mert beszélünk egymással és információt cserélünk, és bla, bla, bla. Mindenféle nem társas faj létezik, amelyek soha nem találkoznak nagyon okos szüleikkel, mint például a polipok vagy az orangutánok.Úgy értem, őket [orangutánok] minden bizonnyal az anyjuk nevelte, de nem társasági állatok.
De az emberek másik kategóriája, akiket kipipálhatok, azok, akik szerint a méretezés elég. Tehát alapvetően csak gigantikus Transformereket használunk, multimodális adatokra oktatjuk őket, amelyek magukban foglalnak videót, szöveget, bla, bla, bla. Mi valahogy megkövültünkmindent, és tokenizálni mindent, majd a vonat gigantikusalapvetően diszkrét jóslatok készítésére szolgáló modellek, és valahogy az AI ki fog alakulni ebből. Nem tévednek abban az értelemben, hogy ez egy jövőbeli intelligens rendszer alkotóeleme lehet. De szerintem hiányoznak belőle a lényeges dolgok.
Van egy másik kategória is, akiket kipipálok ezzel az újsággal. És ez a valószínűségi, a vallási valószínűségi. Tehát azok az emberek, akik azt hiszik, hogy a valószínűségszámítás az egyetlen keret, amellyel megmagyarázhatja a gépi tanulást. És ahogy a darabban megpróbáltam elmagyarázni, alapvetően túl sok azt kérni egy világmodelltől, hogy teljesen valószínűségi legyen. Nem tudjuk, hogyan tegyük. Ott van a számítási nehézség. Tehát azt javaslom, hogy vessük el ezt az egész ötletet. És persze, tudod, ez nem csak a gépi tanulás, hanem az egész statisztika hatalmas pillére, amely a gépi tanulás szokásos formalizmusa.
A másik dolog -
ZDNet: Tekervényben vagy…
YL: — ezt nevezik generatív modelleknek. Tehát az az elképzelés, hogy meg lehet tanulni jósolni, és talán sokat tanulhatsz a világról az előrejelzések által. Tehát adok neked egy videót, és megkérem a rendszert, hogy jósolja meg, mi történik ezután a videóban. És megkérhetlek, hogy jósold meg a tényleges videókockákat minden részlettel. De amiről az újságban vitatkozom, az az, hogy ez valójában túl sok kérés és túl bonyolult. És ez az, ami miatt meggondoltam magam. Körülbelül két évvel ezelőttig az úgynevezett látens változós generatív modellek szószólója voltam, olyan modellek, amelyek megjósolják, hogy mi fog történni ezután, vagy a hiányzó információkat, esetleg egy látens változó segítségével, ha az előrejelzés nem lehetséges. meghatározó. És erről lemondtam. És amiért lemondtam erről, az empirikus eredményeken alapul, ahol az emberek megpróbáltak olyan típusú, előrejelzésen vagy rekonstrukción alapuló képzést alkalmazni, mint amilyet a BERT-ben használnak.és a nagy nyelvi modellek esetében megpróbálták ezt a képekre alkalmazni, és ez teljes kudarcot vallott. A teljes kudarc oka pedig ismét a valószínűségi modellek korlátai miatt van, ahol viszonylag könnyű megjósolni az olyan diszkrét jelzőket, mint a szavak, mivel ki tudjuk számítani a valószínűségi eloszlást a szótár összes szava között. Ez könnyű. De ha megkérjük a rendszert, hogy állítsa elő a valószínűségi eloszlást az összes lehetséges videokockán, akkor fogalmunk sincs, hogyan kell paraméterezni, vagy van valami elképzelésünk a paraméterezésről, de nem tudjuk, hogyan kell normalizálni. Egy megoldhatatlan matematikai problémába ütközik, amelyet nem tudunk megoldani.
„Még nem jutottunk el odáig, hogy intelligens gépeinknek annyi józan esze legyen, mint egy macskának” – jegyzi meg Lecun. – Szóval, miért nem kezdjük ott? Mi az, ami lehetővé teszi egy macskának, hogy felfogja a környező világot, elég okos dolgokat csináljon, tervezzen és hasonlókat, a kutyák pedig még jobban?
Szóval ezért azt mondom, hogy hagyjuk fel a valószínűségszámítást vagy az ehhez hasonló dolgok kereteit, a gyengébbet, az energiaalapú modelleket. Én is ezt szorgalmaztam évtizedek óta, szóval ez nem új keletű dolog. De ugyanakkor feladni a generatív modellek gondolatát, mert sok olyan dolog van a világon, ami nem érthető és nem kiszámítható. Ha mérnök vagy, ezt nevezd zajnak. Ha fizikus vagy, azt hőségnek hívod. És ha gépi tanulással foglalkozó ember vagy, akkor azt, tudod, lényegtelen részleteknek vagy bármi másnak nevezed.
Szóval, a példa, amit az újságban használtam, vagy a beszélgetéseken, az az, hogy szeretne egy világjósló rendszert, amely segít egy önvezető autóban, igaz? Azt akarja, hogy előre megjósolja az összes többi autó pályáját, hogy mi fog történni más tárgyakkal, amelyek elmozdulhatnak, gyalogosokkal, kerékpárokkal, egy futball-labda után futó gyerekkel, ilyesmikkel. Szóval mindenfélét a világról. De az út mellett fák lehetnek, és ma szél fúj, így a levelek mozognak a szélben, a fák mögött pedig egy tavacska, és a tóban hullámzik. És ezek lényegében nagyrészt kiszámíthatatlan jelenségek. És nem akarja, hogy a modellje jelentős mennyiségű erőforrást költsen olyan dolgok előrejelzésére, amelyeket nehéz előre megjósolni és irreleváns. Tehát ezért támogatom a közös beágyazási architektúrát, azokat a dolgokat, ahol a modellezni kívánt változót nem megjósolni, hanem modellezni, de egy kódolón keresztül fut, és ez a kódoló sok olyan részletet kiküszöbölhet a bemenetről, amelyek nem relevánsak vagy túl bonyolultak – alapvetően a zajjal egyenértékűek.
ZDNet: Az év elején megbeszéltük az energiaalapú modelleket, a JEPA-t és a H-JEPA-t. Ha jól értem, az az érzésem, hogy azt az alacsony energiájú pontot találod, ahol az X és Y beágyazás két előrejelzése a leginkább hasonló, ami azt jelenti, hogy ha van egy galamb a fában, és van valami a fában. egy jelenet háttere, nem biztos, hogy ezek azok a lényeges pontok, amelyek ezeket a beágyazásokat közel teszik egymáshoz.
YL: Jobb. Tehát a JEPA architektúra valójában megpróbál kompromisszumot találni a bemenetekről maximálisan informatív, de egymástól bizonyos szintű pontossággal vagy megbízhatósággal megjósolható reprezentációk kinyerése között. Kompromisszumot talál. Tehát, ha választhat, hogy hatalmas mennyiségű erőforrást költ el, beleértve a levelek mozgásának részleteit, majd modellezi a dinamikát, amely eldönti, hogyan mozognak a levelek egy másodperc múlva, vagy egyszerűen ledobja a padlóra. ha az Y változót alapvetően egy előrejelzőn keresztül futtatjuk, amely kiküszöböli az összes részletet, valószínűleg csak kiküszöböli, mert túl nehéz modellezni és rögzíteni.
ZDNet: Egy dolog meglepett, hogy Ön nagy szószólója volt annak, hogy „Működik, később kitaláljuk a termodinamika elméletét, hogy megmagyarázzuk.” Itt azt a megközelítést választottad, hogy „nem tudom, hogyan fogjuk ezt feltétlenül megoldani, de szeretnék néhány ötletet felhozni, hogy elgondolkodjunk rajta”, és talán egy elmélethez vagy hipotézishez is közelítünk. legkevésbé. Ez azért érdekes, mert sokan rengeteg pénzt költenek azon az autón, hogy látják a gyalogost, függetlenül attól, hogy az autónak van-e józan esze. És azt gondolom, hogy ezek közül néhányan nem lesznek kipipálva, de azt mondják: „Rendben van, nem érdekel minket, ha nincs józan ész, felépítettünk egy szimulációt, a szimuláció csodálatos, és tovább fogunk fejleszteni, folyamatosan bővíteni fogjuk a szimulációt.”
És ezért érdekes, hogy most olyan helyzetben van, hogy azt mondhatja: tegyünk egy lépést hátra, és gondoljuk át, mit csinálunk. És az iparág azt mondja, hogy csak skálázni fogunk, skálázni, skálázni, skálázni, mert ez a hajtókar valóban működik. Úgy értem, a GPU-k félvezető hajtókara valóban működik.
YL: Ott van például öt kérdés. Úgy értem, méretezés szükséges. Nem kritizálom, hogy skáláznunk kell. Méreteznünk kellene. Ezek a neurális hálók egyre jobbak, ahogy nőnek. Nem kérdés, hogy méreteznünk kell. És azok, amelyeknek lesz némi józan esze, nagyok lesznek. Ezt nem lehet megkerülni, azt hiszem. Tehát a méretezés jó, szükséges, de nem elegendő. Ez a lényeg, amit kifejtem. Ez nem csak méretezés. Ez az első pont.
Második pont, hogy az elmélet áll-e az első helyen, és hasonlók. Szóval, azt hiszem, vannak olyan koncepciók, amelyek az első helyen állnak, hogy egy lépést hátra kell lépni, és azt mondani: oké, mi építettük ezt a létrát, de fel akarunk jutni a Holdra, és ez a létra semmiképpen sem visz el minket. Tehát alapvetően, amit ide írok, az az, hogy rakétákat kell építenünk. Nem tudok részletezni, hogyan építünk rakétákat, de itt vannak az alapelvek. És nem elméletet írok hozzá, vagy ilyesmi, hanem rakéta lesz, oké? Vagy űrlift, vagy bármi. Lehet, hogy nem rendelkezünk a technológia minden részletével. Igyekszünk néhány dolgot működőképessé tenni, mintha a JEPA-n dolgoztam volna. A közös beágyazás nagyon jól működik a képfelismerésben, de a világmodell betanítására való felhasználása nehézségekbe ütközik. Dolgozunk rajta, reméljük sikerülni fog soon, de ott olyan akadályokba ütközhetünk, amelyeket valószínűleg nem tudunk leküzdeni.
Aztán van egy kulcsfontosságú gondolat a dolgozatban az érveléssel kapcsolatban, ahol ha azt akarjuk, hogy a rendszerek képesek legyenek tervezni, ami az érvelés egyszerű formájának tekinthető, akkor látens változókkal kell rendelkezniük. Más szóval, olyan dolgok, amelyeket nem számít ki semmilyen neurális háló, de olyan dolgok, amelyek igen – amelyek értékére úgy következtetünk, hogy minimálisra csökkentsünk valamilyen célfüggvényt, valamilyen költségfüggvényt. Ezután ezt a költségfüggvényt használhatja a rendszer viselkedésének irányítására. És ez egyáltalán nem új ötlet, igaz? Ez egy nagyon klasszikus, optimális vezérlés, ahol ennek az alapja az 50-es évek végére, a 60-as évek elejére nyúlik vissza. Tehát itt semmi újdonságra nem hivatkozva. De én azt akarom mondani, hogy ennek a fajta következtetésnek egy olyan intelligens rendszer részét kell képeznie, amely képes tervezni, és amelynek viselkedése nem vezetékes viselkedéssel, nem utánzási hajlással, hanem egy célfüggvénnyel határozható meg vagy szabályozható. hajtja a viselkedést – nem feltétlenül a tanulást, de a viselkedést. Tudod, ez van az agyunkban, és minden állatnak megvannak a belső költségei vagy belső motivációi a dolgokhoz. Ez készteti a kilenc hónapos csecsemőket, hogy fel akarjanak állni. Annak ára, hogy boldognak legyünk, amikor felállunk, ez a kifejezés a költségfüggvényben be van kötve. De az, hogy hogyan állsz fel, nem az, az tanulás.
„A méretezés jó, szükséges, de nem elégséges” – mondja LeCun olyan óriási nyelvi modellekről, mint például a GPT-3 változat Transformer-alapú programjai. A Transformer hívei azt hiszik: „Mindent jelképezünk, és óriásit edzünkmodellek, hogy diszkrét jóslatokat készítsenek, és az AI valahogy ki fog jönni ebből… de úgy gondolom, hogy hiányoznak a lényeges részek.”
ZDNet: Csak hogy mindezt kiegészítsem, a mélytanulási közösség nagy része jónak tűnik, ha olyasvalamit folytat, amiben nincs józan ész. Úgy tűnik, itt elég egyértelmű érvelést adsz amellett, hogy egy ponton zsákutcává válik. Vannak, akik azt mondják, hogy józan ésszel nincs szükségünk autonóm autóra, mert a méretezés megteszi. Úgy hangzik, mintha azt mondaná, hogy nem jó, ha ezen az úton haladunk?
YL: Tudod, teljesen lehetségesnek tartom, hogy ötödik szintű autonóm autóink lesznek józan ész nélkül. De ezzel a megközelítéssel az a probléma, hogy ez átmeneti lesz, mert ki kell alakítanod a poklot. Szóval, tudod, térképezd fel az egész világot, rögzíts mindenféle konkrét sarkalatos viselkedést, gyűjts össze annyi adatot, hogy meglegyen az összes olyan furcsa helyzet, amivel az utakon találkozhatsz, bla, bla, bla. És az a véleményem, hogy elegendő befektetéssel és idővel egyszerűen ki lehet építeni a pokolba. De végső soron lesz egy kielégítőbb és talán jobb megoldás is, amely olyan rendszereket foglal magában, amelyek jobban megértik a világ működését, és rendelkeznek bizonyos szinttel annak, amit józan észnek neveznénk. Nem emberi szintű józan észnek kell lennie, hanem valamilyen tudásnak, amelyet a rendszer úgy tud megszerezni, ha figyeli, de nem nézi, ahogy valaki vezet, csak nézi a mozgó dolgokat, és sokat megért a világról, megalapozza a háttér. a világ működésével kapcsolatos ismereteket, amelyeken felül megtanulhatsz vezetni.
Hadd vegyek erre egy történelmi példát. A klasszikus számítógépes látás sok vezetékes, megtervezett modulon alapult, amelyek tetején egyfajta vékony tanulási réteg áll rendelkezésére. Tehát az AlexNet által 2012-ben legyőzött cuccok alapvetően az első szakaszban, amolyan, kézzel készített jellemzőkivonásokkal rendelkeztek, mint például a SIFT-ek [Scale-Invariant Feature Transform (SIFT), egy klasszikus látástechnika a kiemelkedő objektumok azonosítására a képen] és a HOG [Oriented Gradients hisztogram, egy másik klasszikus technika] és sok más dolog. Aztán a második réteg, amolyan, középszintű szolgáltatások, amelyek szolgáltatásmagokon és bármi máson alapulnak, és valamiféle felügyelt módszer. És akkor a tetejére tesz egy támogatási vektor gépet, vagy egy viszonylag egyszerű osztályozót. És ez egyfajta szabványos csővezeték volt a 2000-es évek közepétől 2012-ig. És ezt felváltották a végpontok közötti konvolúciós hálók, ahol ezt nem köti össze, csak sok adata van, és a végétől a végéig betanítod a dolgot, ez az a megközelítés, amit már régóta támogattam, de tudod, addig nem volt praktikus nagy problémák esetén.
Volt már egy hasonló történet a beszédfelismerés terén, ahol ismét hatalmas részletes mérnöki munka volt az adatok előfeldolgozására, tömeges cepstrum (a jelfeldolgozás gyors Fourier-transzformációjának inverze) kinyerésére, majd rejtett Markov modelljei vannak, amolyan, előre beállított architektúrával, bla, bla, bla, Gauss-féle keverékkel. És így, ez egy kicsit ugyanaz az architektúra, mint a vision, ahol kézzel készített front-end, majd egy kissé felügyelet nélküli, betanított, középső réteg, majd egy felügyelt réteg a tetején. És most ezt gyakorlatilag eltüntették a végpontok közötti neurális hálók. Tehát valami hasonlót látok ott, amikor megpróbálunk mindent megtanulni, de meg kell adni a megfelelő előzetest, a megfelelő architektúrát, a megfelelő struktúrát.
Az önvezető autók tömege, az olyan startupok, mint a Waymo és a Wayve, „kicsit túl optimisták” – mondja, és azt gondolták, hogy „adatokat dobhatnak rá, és szinte bármit meg lehet tanulni”. Az ADAS 5. szintjén önvezető autók lehetségesek, „de a pokolba kell terveznie”, és „törékenyek” lesznek, mint a korai számítógépes látásmodellek.
ZDNet: Azt akarod mondani, hogy egyesek megpróbálják mély tanulással megtervezni azt, ami jelenleg nem működik, mondjuk az iparban, és elkezdenek valamit létrehozni, ami a számítógépes látásban elavulttá vált?
YL: Jobb. És részben ez az oka annak, hogy az autonóm vezetésen dolgozók túlságosan optimisták az elmúlt néhány évben, mert tudod, vannak olyan általános dolgok, mint a konvolúciós hálók és a transzformátorok, amelyekkel adatokat dobhatsz rá. , és szinte bármit megtanulhat. Tehát azt mondod: Oké, megvan a megoldás erre a problémára. Az első dolga, hogy készítsen egy demót, ahol az autó néhány percig önmagát hajtja anélkül, hogy bárkit is megbántana. Aztán rájössz, hogy sok sarok eset van, és megpróbálod felrajzolni a görbét, hogy mennyivel jobban vagyok, miközben megduplázom az edzéskészletet, és rájössz, hogy soha nem fogsz eljutni odáig, mert mindenféle sarokeset létezik. . És szükség van egy olyan autóra, amely kevesebb, mint 200 millió kilométerenként okoz halálos balesetet, igaz? Szóval, mivel foglalkozol? Nos, két irányba sétálsz.
Az első irány az, hogyan csökkenthetem a rendszerem tanulásához szükséges adatok mennyiségét? És itt jön a képbe az önfelügyelt tanulás. Tehát sok önvezető autós ruházat nagyon érdeklődik az önfelügyelt tanulás iránt, mert ez egy módja annak, hogy továbbra is óriási mennyiségű felügyeleti adatot használjunk imitációs tanuláshoz, de jobb teljesítményt érjünk el előképzés, lényegében. És még nem süllyedt ki teljesen, de majd fog. És akkor ott van a másik lehetőség, amit a legtöbb, jelenleg fejlettebb cég elfogadott, vagyis oké, meg tudjuk csinálni a végponttól végpontig terjedő képzést, de sok olyan sarokeset van, amit megtehetünk. t kezelni, ezért csak olyan rendszereket tervezünk, amelyek gondoskodnak ezekről a sarok esetekről, és alapvetően speciális esetekként kezelik őket, és bekötik a vezérlést, majd sok alapvető viselkedést a speciális helyzetek kezeléséhez. És ha van egy elég nagy mérnökcsapat, akkor lehet, hogy megcsinálja. De ez sokáig fog tartani, és a végén még mindig egy kicsit törékeny lesz, talán elég megbízható ahhoz, hogy telepíteni tudja, de bizonyos mértékű törékenységgel, ami egy tanulásalapúbb megközelítéssel megjelenhet a A jövőben az autóknak nem lesz, mert lehet, hogy van némi józan esze és megértése a világ működésével kapcsolatban.
Rövid távon a valamiféle, megtervezett megközelítés nyer – máris nyer. Ez a Waymo és Cruise of the world és a Wayveés mindegy, ezt csinálják. Aztán ott van az önfelügyelt tanulási megközelítés, amely valószínűleg elősegíti a mérnöki megközelítés fejlődését. De hosszú távon, amelyre ezeknek a cégeknek túl sokáig kell várniuk, valószínűleg egy integráltabb autonóm intelligens vezetési rendszer lenne.
ZDNet: Azt mondjuk, túlmutat a legtöbb befektető befektetési horizontján.
YL: Úgy van. A kérdés tehát az, hogy az emberek elveszítik-e a türelmüket vagy elfogy-e a pénzük, mielőtt a teljesítmény eléri a kívánt szintet.
ZDNet: Van valami érdekes mondanivaló arról, hogy miért választott néhány elemet a modellben? Mert Kenneth Craik [1943,A magyarázat természete], és idézi Bryson és Ho [1969, Optimális szabályozás alkalmazása], és arra vagyok kíváncsi, hogy miért kezdett ezekkel a hatásokkal, ha különösen azt hitte, hogy ezeknek az embereknek ez volt a lényege, mint amit tettek. Miért ott kezdtél?
YL: Nos, nem hiszem, hogy minden részletet leszögeztek. Szóval, Bryson és Ho, ezt a könyvet még 1987-ben olvastam, amikor posztdoktori voltam Geoffrey Hintonnál Torontóban. De már a PhD írásakor tudtam erről a munkáról, és lényegében megteremtettem a kapcsolatot az optimális vezérlés és a backprop között. Ha tényleg egy másik Schmidhuber akarna lenni, akkor azt mondaná, hogy a backprop igazi feltalálói valójában az optimális vezérlés elméletei, Henry J. Kelley, Arthur Bryson és talán még Lev Pontryagin is, aki az optimális vezérlés orosz teoretikusa. az '50-es évek végén.
Tehát rájöttek, és valójában ennek a gyökere, az alatta lévő matematika, a Lagrange-féle mechanika. Tehát valójában visszatérhet Eulerhez és Lagrange-hez, és ennek egy illatát találhatja meg a Lagrange-féle klasszikus mechanika meghatározásában. Tehát az optimális vezérléssel összefüggésben ezeket a srácokat alapvetően a rakétapályák kiszámítása érdekelte. Tudod, ez volt a korai űrkorszak. És ha rendelkezik a rakéta modelljével, az azt mutatja, hogy itt van a rakéta aktuális állapota t, és itt van a művelet, amit meg fogok tenni, szóval, különböző típusú tolóerő és működtetőelemek, itt van a rakéta aktuális állapota t + 1.
ZDNet: Egy állapot-cselekvési modell, egy értékmodell.
YL: Így van, az ellenőrzés alapja. Tehát most már szimulálhatja a rakéta kilövését úgy, hogy elképzel egy parancssort, majd van valami költségfüggvénye, ami a rakéta távolsága a céljától, egy űrállomástól vagy bármi mástól. Aztán valamiféle gradiens ereszkedéssel kitalálhatod, hogyan tudom frissíteni a műveletsoromat úgy, hogy a rakétám valóban a lehető legközelebb kerüljön a célhoz. És ennek az időben visszafelé terjedő jelek révén kell jönnie. És ez visszaszaporítás, gradiens visszaszaporítás. Ezeket a jeleket konjugált változóknak nevezik a Lagrange-féle mechanika, de valójában gradiensek. Szóval feltalálták a backprop-ot, de nem vették észre, hogy ezzel az elvvel ki lehet képezni egy többlépcsős rendszert, ami képes mintafelismerésre vagy valami hasonlóra. Ez csak a '70-es évek végén, a '80-as évek elejéig valósult meg igazán, majd csak a '80-as évek közepéig valósították meg és tették működésbe. Oké, ez az a pont, ahol a backprop valóban, valahogy így beindult, mert az emberek megmutatták, hogy itt van néhány kódsor, amelyekkel egy neurális hálót taníthatsz, végpontokig, többrétegűen. És ez feloldja a Perceptron korlátait. És igen, vannak kapcsolatok az optimális vezérléssel, de ez rendben van.
ZDNet: Szóval, ez egy hosszú út azt állítani, hogy ezek a hatások, amelyekkel kiindultál, visszatértek a backprophoz, és ez fontos volt számodra kiindulópontként?
YL: Igen, de azt hiszem, amiről az emberek egy kicsit megfeledkeztek, elég sokat dolgoztak ezen a 90-es, vagy akár a 80-as években, többek között olyanok is, mint Michael Jordan [MIT Dept. of Brain és a kognitív tudományok] és az ehhez hasonló emberek, akik már nem neurális hálókat csinálnak, hanem azt az elképzelést, hogy használhatunk neurális hálókat az irányításra, és használhatjuk az optimális vezérlés klasszikus elképzeléseit. Tehát olyan dolgok, mint az úgynevezett modell-prediktív vezérlés, amit ma modell-prediktív vezérlésnek hívnak, ez az ötlet, hogy szimulálhatja vagy elképzelheti egy műveletsorozat kimenetelét, ha van egy jó modellje a rendszerről, amelyet irányítani próbál. és a környezet, amelyben van. És akkor a gradiens leereszkedéssel lényegében – ez nem tanulás, ez következtetés – kitalálhatja, hogy mi a legjobb cselekvéssorozat, amely minimalizálja a célomat. Tehát egy látens változót tartalmazó költségfüggvény következtetések levonására való felhasználása olyan dolog, amiről a nagyméretű neurális hálók jelenlegi termése megfeledkezett. De ez a gépi tanulás nagyon klasszikus összetevője volt sokáig. Tehát minden Bayes-háló vagy grafikus modell vagy valószínűségi grafikus modell használta ezt a fajta következtetést. Van egy modellje, amely rögzíti a függőséget egy csomó változó között, megmondja néhány változó értékét, majd ki kell következtetnie a többi változó legvalószínűbb értékére. Ez a következtetés alapelve a grafikus modellekben és a Bayes-hálókban és hasonlókban. És szerintem alapvetően erről kellene szólnia az érvelésnek, az érvelésnek és a tervezésnek.
ZDNet: Szekrény-bayesi vagy.
YL: Nem valószínűségi bayesi vagyok. Ezt a tréfát korábban is megcsináltam. Valójában néhány éve a NeurIPS-en voltam, azt hiszem, 2018-ban vagy 2019-ben, és egy bayesi elkapott a videón, aki megkérdezte tőlem, hogy bayesi vagyok-e, és azt mondtam: Igen, bayesi vagyok, de Nem valószínűségi bayesi vagyok, amolyan energiaalapú bayesi, ha akarod.
ZDNet: Ami határozottan úgy hangzik, mint valami Star Trek. A cikk végén említette, hogy évekig tartó kemény munkára lesz szükség ahhoz, hogy megvalósítsa, amit elképzel. Mondja el, miből áll ez a pillanatnyi munka.
YL: Tehát elmagyarázom, hogyan képezi és építi fel a JEPA-t az újságban. Az általam javasolt kritérium pedig az, hogy valamilyen módon maximalizáljuk az információtartalmat, amelyet a kinyert reprezentációk rendelkeznek a bemenetről. És akkor a második az előrejelzési hiba minimalizálása. És ha van egy látens változó a prediktorban, amely lehetővé teszi, hogy a prediktor ne legyen determinisztikus, akkor ezt a látens változót is szabályosítani kell információtartalmának minimalizálásával. Tehát most két problémád van: hogyan maximalizálod valamilyen neurális háló kimenetének információtartalmát, a másik pedig az, hogy hogyan minimalizálod valamilyen látens változó információtartalmát? És ha ezt a két dolgot nem teszi meg, a rendszer összeomlik. Nem tanul semmi érdekeset. Nulla energiát fog adni mindennek, ilyesmi, ami nem jó modell a függőségnek. Ez az összeomlás-megelőzési probléma, amit említek.
És mindazokról a dolgokról, amelyeket az emberek valaha is tettek, azt mondom, hogy csak kétféle módszer létezik az összeomlás megelőzésére. Az egyik a kontrasztív módszerek, a másik pedig a rendszeresített módszerek. Tehát a két bemenet reprezentációinak információtartalmának maximalizálásának és a látens változó információtartalmának minimalizálásának gondolata, amely a regularizált módszerekhez tartozik. De a közös beágyazási architektúrákban végzett munka nagy része kontrasztív módszereket használ. Valójában jelenleg talán ők a legnépszerűbbek. A kérdés tehát az, hogy pontosan hogyan méri az információtartalmat úgy, hogy optimalizálható vagy minimalizálható legyen? És ez az, ahol a dolgok bonyolulttá válnak, mivel nem tudjuk, hogyan mérjük az információtartalmat. Megközelíthetjük, felső határértéket adhatunk, tehetünk ilyesmit. De valójában nem mérik az információtartalmat, ami valójában bizonyos mértékig nem is pontosan meghatározott.
ZDNet: Ez nem Shannon törvénye? Ez nem információelmélet? Van egy bizonyos mennyiségű entrópia, jó entrópia és rossz entrópia, és a jó entrópia egy szimbólumrendszer, amely működik, a rossz entrópia pedig zaj. Nem Shannon oldja meg az egészet?
YL: Igazad van, de van egy nagy hiba a háttérben. Abban az értelemben igazad van, hogy ha adat érkezik hozzád, és az adatokat valamilyen módon kvantifikálhatod diszkrét szimbólumokká, majd megméred az egyes szimbólumok valószínűségét, akkor ezek a szimbólumok által hordozott információ maximális mennyisége a összege a lehetséges szimbólumok felett Pi log Pi, jobb? Ahol Pi a szimbólum valószínűsége én — ez a Shannon entrópia. [A Shannon-törvényt általában a következőképpen fogalmazzák meg: H = – ∑ pi log pi.]
A probléma azonban itt van: Mi az Pi? Könnyű, ha kicsi a szimbólumok száma, és a szimbólumokat egymástól függetlenül rajzolják. Ha sok szimbólum és függőség van, akkor nagyon nehéz. Tehát, ha van egy bitsorozatunk, és feltételezzük, hogy a bitek függetlenek egymástól, és a valószínűség egyenlő egy és nulla vagy bármi között, akkor könnyen megmérheti az entrópiát, nem probléma. De ha a dolgok, amelyek hozzád jönnek, nagydimenziós vektorok, mint például adatkeretek, vagy valami ehhez hasonló, akkor mi az Pi? Mi az elosztás? Először kvantálni kell ezt a teret, ami egy nagy dimenziójú, folytonos tér. Fogalma sincs, hogyan kell ezt megfelelően számszerűsíteni. Használhatja a k-means-eket stb. Ezt teszik az emberek, amikor videó- és képtömörítést végeznek. De ez csak közelítés. És akkor fel kell tételeznie a függetlenséget. Tehát egyértelmű, hogy egy videóban az egymást követő képkockák nem függetlenek egymástól. Vannak függőségek, és ez a keret egy másik, egy órával ezelőtt látott képkockától függhet, amely ugyanarról a dologról készült. Szóval tudod, nem tudsz mérni Pi. Megmérni Pi, olyan gépi tanulási rendszerrel kell rendelkeznie, amely megtanul előre jelezni. És így visszatérsz az előző problémához. Tehát lényegében csak közelíteni tudja az információ mértékét.
"A kérdés pontosan az, hogy hogyan méri az információtartalmat úgy, hogy optimalizálni vagy minimalizálni tudja?" mondja LeCun. "És itt válnak bonyolulttá a dolgok, mert nem tudjuk, hogyan mérjük az információtartalmat." A legjobb, amit eddig tehetünk, hogy olyan proxyt találunk, amely „elég jó a kívánt feladathoz”.
Hadd vegyek egy konkrétabb példát. Az egyik algoritmus, amellyel játszottunk, és amiről a darabban beszéltem, ez a VICReg nevű dolog, a variancia-invariancia-kovariancia-reguláció. Ez egy külön cikkben található, amelyet az ICLR publikáltak, és az arXiv-re került körülbelül egy évvel 2021 előtt. És az ötlet az információ maximalizálása. És az ötlet valójában a csoportom egy korábbi közleményéből fakadt Barlow ikrek. Egy neurális hálóból kilépő vektor információtartalmát úgy maximalizálja, hogy alapvetően feltételezi, hogy a változók közötti egyetlen függőség a korreláció, a lineáris függőség. Tehát, ha feltételezi, hogy az egyetlen függőség, amely lehetséges a változópárok, vagy a változók között a rendszerben, az értékpárok közötti korrelációk, ami a rendkívül durva közelítés, akkor maximalizálhatja a rendszerből kijövő információtartalmat. Azáltal, hogy minden változónak van nullától eltérő szórása – mondjuk az egyes szórás, mindegy, mi az –, majd visszakorrelálja őket, ugyanaz a folyamat, amit fehéredésnek neveznek, ez sem új. Ezzel az a probléma, hogy nagyon összetett függőségek lehetnek akár változócsoportok, akár csak változópárok között, amelyek nem lineáris függőségek, és nem jelennek meg a korrelációkban. Tehát például, ha két változónk van, és ennek a két változónak minden pontja egyfajta spirálba illeszkedik, nagyon erős függőség van a két változó között, igaz? Valójában azonban, ha kiszámítja a két változó közötti korrelációt, akkor nincsenek korrelációban. Tehát itt van egy példa, ahol ennek a két változónak az információtartalma valójában nagyon kicsi, ez csak egy mennyiség, mert ez az Ön pozíciója a spirálban. Dekorreláltak, tehát azt gondolja, hogy sok információ származik ebből a két változóból, holott valójában nincs, csak az egyik változót tudja megjósolni a másikból, lényegében. Tehát ez azt mutatja, hogy csak nagyon hozzávetőleges módszereink vannak az információtartalom mérésére.
ZDNet: És ez az egyik dolog, amin most dolgoznod kell? Ez a nagyobb kérdés, hogy honnan tudjuk, mikor maximalizáljuk vagy minimalizáljuk az információtartalmat?
YL: Vagy az általunk használt proxy elég jó-e a kívánt feladathoz. Valójában a gépi tanulás során mindig ezt tesszük. Az általunk minimalizált költségfüggvények soha nem azok, amelyeket valójában minimalizálni szeretnénk. Tehát például osztályozást szeretne végezni, oké? Az osztályozó betanítása során minimalizálni kívánt költségfüggvény az osztályozó által elkövetett hibák száma. De ez egy nem differenciálható, borzalmas költségfüggvény, amelyet nem tudsz minimalizálni, mert tudod, hogy megváltoztatod a neurális hálód súlyát, és semmi sem fog változni, amíg az egyik minta meg nem változtatja a döntését, majd egy ugrás. a hibában, pozitív vagy negatív.
ZDNet: Tehát van egy proxyja, amely egy célfüggvény, amelyről határozottan kijelentheti, hogy ennek a dolognak a gradienseit biztosan tudjuk folytatni.
YL: Úgy van. Tehát az emberek ezt a keresztentrópia veszteséget, vagy SOFTMAX-ot használják, több neve is van, de ez ugyanaz. És alapvetően a rendszer által elkövetett hibák számának sima közelítése, ahol a simítás alapvetően a rendszer által az egyes kategóriákra adott pontszámok figyelembevételével történik.
ZDNet: Van valami, amivel nem foglalkoztunk, és amit szeretnél?
YL: Valószínűleg a főbb pontokat hangsúlyozza. Úgy gondolom, hogy az AI-rendszereknek képesnek kell lenniük az okoskodásra, és az általam javasolt folyamat az, hogy minimálisra csökkentsék a célt valamilyen látens változó tekintetében. Ez lehetővé teszi a rendszerek számára a tervezést és az érvelést. Úgy gondolom, hogy fel kell hagynunk a valószínűségi keretrendszerrel, mert az megoldhatatlan, ha olyan dolgokat akarunk csinálni, mint például a nagydimenziós, folytonos változók közötti függőségek rögzítése. És én a generatív modellek elhagyását támogatom, mert a rendszernek túl sok erőforrást kell fordítania olyan dolgok előrejelzésére, amelyeket túl nehéz megjósolni, és esetleg túl sok erőforrást fogyasztanak. És nagyjából ennyi. Ez a fő üzenet, ha akarod. És akkor az általános architektúra. Aztán ott vannak a tudat természetével és a konfigurátor szerepével kapcsolatos spekulációk, de ez valójában spekuláció.
ZDNet: Majd legközelebb rátérünk. Meg akartam kérdezni, hogyan méred ezt a dolgot? De gondolom, most egy kicsit távolabb vagy a benchmarkingtól?
YL: Nem feltétlenül olyan messzire, amolyan, egyszerűsített változatok. Meg tudod csinálni azt, amit mindenki az irányítási vagy megerősítési tanulásban, vagyis arra tanítod a dolgot, hogy játsszon Atari játékokat vagy valami hasonlót, vagy más játékot, amiben van némi bizonytalanság.
ZDNet: Köszönöm az idejét, Yann.
English
Arabic
Belarusian
Bengali
Bosnian
Bulgarian
Chinese (Simplified)
Croatian
Czech
Danish
Dutch
English
Estonian
Filipino
Finnish
French
Georgian
German
Greek
Gujarati
Hausa
Hebrew
Hindi
Hmong
Hungarian
Igbo
Indonesian
Italian
Japanese
Javanese
Kazakh
Korean
Kurdish (Kurmanji)
Kyrgyz
Lao
Latvian
Lithuanian
Macedonian
Malagasy
Norwegian
Persian
Polish
Portuguese
Punjabi
Romanian
Russian
Serbian
Slovak
Slovenian
Spanish
Swedish
Thai
Turkish
Ukrainian
Vietnamese
Yoruba