Meta ਦਾ 'data2vec' ਉਨ੍ਹਾਂ ਸਾਰਿਆਂ 'ਤੇ ਰਾਜ ਕਰਨ ਲਈ One Neural Network ਵੱਲ ਅਗਲਾ ਕਦਮ ਹੈ

ਇੱਕ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਬਣਾਉਣ ਦੀ ਦੌੜ ਚੱਲ ਰਹੀ ਹੈ ਜੋ ਕਈ ਕਿਸਮਾਂ ਦੇ ਡੇਟਾ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰ ਸਕਦਾ ਹੈ, ਇੱਕ ਵਧੇਰੇ-ਆਮ ਨਕਲੀ ਬੁੱਧੀ ਦੀ ਧਾਰਨਾ ਜੋ ਕਿ ਡੇਟਾ ਦੀਆਂ ਕਿਸਮਾਂ ਬਾਰੇ ਵਿਤਕਰਾ ਨਹੀਂ ਕਰਦੀ ਪਰ ਇਸਦੀ ਬਜਾਏ ਉਹਨਾਂ ਸਾਰਿਆਂ ਨੂੰ ਇੱਕੋ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੇ ਅੰਦਰ ਤੋੜ ਸਕਦੀ ਹੈ।

ਮਲਟੀ-ਮੋਡੈਲਿਟੀ ਦੀ ਸ਼ੈਲੀ, ਜਿਵੇਂ ਕਿ ਇਹਨਾਂ ਨਿਊਰਲ ਨੈਟਵਰਕਸ ਨੂੰ ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਗਤੀਵਿਧੀ ਦੀ ਇੱਕ ਭੜਕਾਹਟ ਦੇਖ ਰਹੀ ਹੈ ਜਿਸ ਵਿੱਚ ਵੱਖ-ਵੱਖ ਡੇਟਾ, ਜਿਵੇਂ ਕਿ ਚਿੱਤਰ, ਟੈਕਸਟ, ਅਤੇ ਸਪੀਚ ਆਡੀਓ, ਨੂੰ ਵੱਖੋ-ਵੱਖਰੇ ਟੈਸਟਾਂ ਵਿੱਚ ਸਕੋਰ ਬਣਾਉਣ ਲਈ ਇੱਕੋ ਐਲਗੋਰਿਦਮ ਵਿੱਚੋਂ ਪਾਸ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਜਿਵੇਂ ਕਿ ਚਿੱਤਰ ਪਛਾਣ, ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਦੀ ਸਮਝ ਜਾਂ ਬੋਲੀ ਦੀ ਪਛਾਣ।

ਅਤੇ ਇਹ ਦੋਖੀ ਨੈੱਟਵਰਕ AI ਦੇ ਬੈਂਚਮਾਰਕ ਟੈਸਟਾਂ 'ਤੇ ਸਕੋਰ ਵਧਾ ਰਹੇ ਹਨ। ਨਵੀਨਤਮ ਪ੍ਰਾਪਤੀ ਉਹ ਹੈ ਜਿਸ ਨੂੰ 'data2vec' ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਨੂੰ ਮੇਟਾ ਦੇ AI ਡਿਵੀਜ਼ਨ ਦੇ ਖੋਜਕਰਤਾਵਾਂ ਦੁਆਰਾ ਵਿਕਸਤ ਕੀਤਾ ਗਿਆ ਹੈ, Facebook, Instagram, ਅਤੇ WhatsApp ਦੇ ਮਾਤਾ-ਪਿਤਾ। 

ਬਿੰਦੂ, ਜਿਵੇਂ ਕਿ ਮੈਟਾ ਦੇ ਵਿਗਿਆਨੀ, ਅਲੈਕਸੀ ਬਾਏਵਸਕੀ, ਵੇਈ-ਨਿੰਗ ਹਸੂ, ਕਿਆਨਟੋਂਗ ਜ਼ੂ, ਅਰੁਣ ਬਾਬੂ, ਜੀਤਾਓ ਗੁ, ਅਤੇ ਮਾਈਕਲ ਔਲੀ, ਲਿਖਦੇ ਹਨ, ਆਮ ਸਿੱਖਣ ਦੀ ਯੋਗਤਾ ਵਰਗੀ ਹੋਰ ਚੀਜ਼ ਤੱਕ ਪਹੁੰਚਣਾ ਹੈ ਜਿਸ ਨੂੰ ਮਨੁੱਖੀ ਮਨ ਸ਼ਾਮਲ ਕਰਦਾ ਜਾਪਦਾ ਹੈ।

ਲੇਖਕ ਲਿਖਦੇ ਹਨ, "ਜਦੋਂ ਕਿ ਲੋਕ ਇੱਕ ਸਮਾਨ ਤਰੀਕੇ ਨਾਲ ਸਿੱਖਦੇ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ ਭਾਵੇਂ ਉਹ ਜਾਣਕਾਰੀ ਕਿਵੇਂ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਨ - ਭਾਵੇਂ ਉਹ ਦ੍ਰਿਸ਼ਟੀ ਜਾਂ ਆਵਾਜ਼ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ, ਉਦਾਹਰਨ ਲਈ," ਲੇਖਕ ਲਿਖਦੇ ਹਨ ਇੱਕ ਬਲਾੱਗ ਪੋਸਟ ਵਿੱਚ, "ਇਸ ਸਮੇਂ ਤਰੀਕੇ ਵਿੱਚ ਵੱਡੇ ਅੰਤਰ ਹਨ" ਨਿਊਰਲ ਨੈਟਵਰਕ ਵੱਖ-ਵੱਖ ਕਿਸਮਾਂ ਦੇ ਡੇਟਾ ਜਿਵੇਂ ਕਿ ਚਿੱਤਰ, ਭਾਸ਼ਣ, ਟੈਕਸਟ, "ਅਤੇ ਹੋਰ ਰੂਪਾਂਤਰੀਆਂ" ਨੂੰ ਸੰਭਾਲਦੇ ਹਨ।

"ਇਸ ਪਹੁੰਚ ਦਾ ਮੂਲ ਵਿਚਾਰ," ਉਹ data2vec ਦਾ ਐਲਾਨ ਕਰਦੇ ਹਨ, "ਹੋਰ ਆਮ ਤੌਰ 'ਤੇ ਸਿੱਖਣਾ ਹੈ: AI ਨੂੰ ਬਹੁਤ ਸਾਰੇ ਵੱਖ-ਵੱਖ ਕਾਰਜ ਕਰਨ ਲਈ ਸਿੱਖਣ ਦੇ ਯੋਗ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਉਹ ਵੀ ਸ਼ਾਮਲ ਹਨ ਜੋ ਪੂਰੀ ਤਰ੍ਹਾਂ ਅਣਜਾਣ ਹਨ।"

ਮੇਟਾ ਦੇ ਸੀਈਓ, ਮਾਰਕ ਜ਼ੁਕਰਬਰਗ, ਨੇ ਕੰਮ ਬਾਰੇ ਇੱਕ ਹਵਾਲਾ ਪੇਸ਼ ਕੀਤਾ, ਇਸਨੂੰ ਭਵਿੱਖ ਦੇ ਮੇਟਾਵਰਸ ਨਾਲ ਜੋੜਿਆ:

ਦਿਲਚਸਪ ਸਫਲਤਾ: ਮੈਟਾ ਏਆਈ ਖੋਜ ਨੇ ਇੱਕ ਅਜਿਹਾ ਸਿਸਟਮ ਬਣਾਇਆ ਜੋ ਲੇਬਲ ਕੀਤੇ ਸਿਖਲਾਈ ਡੇਟਾ ਦੀ ਲੋੜ ਤੋਂ ਬਿਨਾਂ ਭਾਸ਼ਣ, ਦ੍ਰਿਸ਼ਟੀ ਅਤੇ ਟੈਕਸਟ ਤੋਂ ਸਿੱਖਦਾ ਹੈ। ਲੋਕ ਦ੍ਰਿਸ਼ਟੀ, ਆਵਾਜ਼ ਅਤੇ ਸ਼ਬਦਾਂ ਦੇ ਸੁਮੇਲ ਰਾਹੀਂ ਸੰਸਾਰ ਦਾ ਅਨੁਭਵ ਕਰਦੇ ਹਨ, ਅਤੇ ਇਸ ਤਰ੍ਹਾਂ ਦੀਆਂ ਪ੍ਰਣਾਲੀਆਂ ਇੱਕ ਦਿਨ ਸੰਸਾਰ ਨੂੰ ਉਸੇ ਤਰ੍ਹਾਂ ਸਮਝ ਸਕਦੀਆਂ ਹਨ ਜਿਵੇਂ ਅਸੀਂ ਕਰਦੇ ਹਾਂ। ਇਹ ਸਭ ਆਖਿਰਕਾਰ ਇੱਕ AI ਸਹਾਇਕ ਦੇ ਨਾਲ AR ਗਲਾਸਾਂ ਵਿੱਚ ਬਣ ਜਾਵੇਗਾ, ਇਸ ਲਈ, ਉਦਾਹਰਨ ਲਈ, ਇਹ ਤੁਹਾਨੂੰ ਰਾਤ ਦਾ ਖਾਣਾ ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦਾ ਹੈ, ਇਹ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੇ ਹੋਏ ਕਿ ਕੀ ਤੁਸੀਂ ਕੋਈ ਸਮੱਗਰੀ ਖੁੰਝ ਗਈ ਹੈ, ਤੁਹਾਨੂੰ ਗਰਮੀ ਨੂੰ ਘੱਟ ਕਰਨ ਲਈ, ਜਾਂ ਹੋਰ ਗੁੰਝਲਦਾਰ ਕੰਮਾਂ ਲਈ ਪ੍ਰੇਰਿਤ ਕਰ ਸਕਦੀ ਹੈ।

data2vec ਨਾਮ ਭਾਸ਼ਾ "ਏਮਬੈਡਿੰਗ" ਲਈ ਇੱਕ ਪ੍ਰੋਗਰਾਮ ਦੇ ਨਾਮ 'ਤੇ ਇੱਕ ਨਾਟਕ ਹੈ। 2013 ਵਿੱਚ Google 'ਤੇ ਵਿਕਸਿਤ ਕੀਤਾ ਗਿਆ "word2vec" ਕਿਹਾ ਜਾਂਦਾ ਹੈ। ਉਸ ਪ੍ਰੋਗਰਾਮ ਨੇ ਭਵਿੱਖਬਾਣੀ ਕੀਤੀ ਕਿ ਕਿਵੇਂ ਸ਼ਬਦ ਇਕੱਠੇ ਹੁੰਦੇ ਹਨ, ਅਤੇ ਇਸ ਲਈ word2vec ਇਹ ਇੱਕ ਖਾਸ ਕਿਸਮ ਦੇ ਡੇਟਾ ਲਈ ਤਿਆਰ ਕੀਤੇ ਗਏ ਇੱਕ ਨਿਊਰਲ ਨੈਟਵਰਕ ਦਾ ਪ੍ਰਤੀਨਿਧ ਹੈ, ਉਸ ਕੇਸ ਵਿੱਚ ਟੈਕਸਟ। 

ਵੀ: ਪੌਡ ਬੇ ਦੇ ਦਰਵਾਜ਼ੇ ਖੋਲ੍ਹੋ, ਕਿਰਪਾ ਕਰਕੇ, HAL: Meta's AI ਲਿਪ-ਰੀਡਿੰਗ ਦੀ ਨਕਲ ਕਰਦਾ ਹੈ

data2vec ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਹਾਲਾਂਕਿ, ਬਾਏਵਸਕੀ ਅਤੇ ਸਹਿਯੋਗੀ ਆਸ਼ੀਸ਼ ਵਾਸਵਾਨੀ ਅਤੇ ਸਹਿਕਰਮੀਆਂ ਦੁਆਰਾ ਵਿਕਸਤ ਕੀਤੇ ਟ੍ਰਾਂਸਫਾਰਮਰ ਦਾ ਇੱਕ ਮਿਆਰੀ ਸੰਸਕਰਣ ਲੈ ਰਹੇ ਹਨ। 2017 ਵਿੱਚ ਗੂਗਲ 'ਤੇ ਅਤੇ ਇਸ ਨੂੰ ਕਈ ਡਾਟਾ ਕਿਸਮਾਂ ਲਈ ਵਰਤਣ ਲਈ ਵਿਸਤਾਰ ਕਰਨਾ। 

ਟਰਾਂਸਫਾਰਮਰ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਮੂਲ ਰੂਪ ਵਿੱਚ ਭਾਸ਼ਾ ਦੇ ਕੰਮਾਂ ਲਈ ਵਿਕਸਤ ਕੀਤਾ ਗਿਆ ਸੀ, ਪਰ ਇਸ ਨੂੰ ਕਈ ਤਰ੍ਹਾਂ ਦੇ ਡੇਟਾ ਲਈ ਕਈ ਸਾਲਾਂ ਵਿੱਚ ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਅਨੁਕੂਲਿਤ ਕੀਤਾ ਗਿਆ ਹੈ। ਬਾਏਵਸਕੀ ਐਟ ਅਲ. ਇਹ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਟ੍ਰਾਂਸਫਾਰਮਰ ਨੂੰ ਬਦਲੇ ਬਿਨਾਂ ਕਈ ਕਿਸਮਾਂ ਦੇ ਡੇਟਾ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਅਤੇ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਨਿਊਰਲ ਨੈਟਵਰਕ ਜਿਸ ਦੇ ਨਤੀਜੇ ਕਈ ਵੱਖ-ਵੱਖ ਕੰਮਾਂ ਲਈ ਕਰ ਸਕਦੇ ਹਨ। 

ਰਸਮੀ ਪੇਪਰ ਵਿੱਚ, "data2vec: ਭਾਸ਼ਣ, ਦ੍ਰਿਸ਼ਟੀ ਅਤੇ ਭਾਸ਼ਾ ਵਿੱਚ ਸਵੈ-ਨਿਗਰਾਨੀ ਸਿੱਖਣ ਲਈ ਇੱਕ ਆਮ ਫਰੇਮਵਰਕ,” Baevski et al., ਚਿੱਤਰ ਡੇਟਾ, ਸਪੀਚ ਆਡੀਓ ਵੇਵਫਾਰਮ, ਅਤੇ ਟੈਕਸਟ ਭਾਸ਼ਾ ਪ੍ਰਸਤੁਤੀਆਂ ਲਈ ਟ੍ਰਾਂਸਫਾਰਮਰ ਨੂੰ ਸਿਖਲਾਈ ਦਿਓ। 

Data2vec “ਪਹਿਲਾ ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਵਾਲਾ ਸਵੈ-ਨਿਗਰਾਨੀ ਐਲਗੋਰਿਦਮ ਹੈ ਜੋ ਕਈ ਰੂਪਾਂ ਲਈ ਕੰਮ ਕਰਦਾ ਹੈ, ਅਰਥਾਤ ਭਾਸ਼ਣ, ਦ੍ਰਿਸ਼ਟੀ ਅਤੇ ਟੈਕਸਟ,” ਬਲੌਗ ਪੋਸਟ ਵਿੱਚ Baevski ਅਤੇ ਟੀਮ ਲਿਖੋ।

ਬਹੁਤ ਹੀ ਆਮ ਟਰਾਂਸਫਾਰਮਰ ਬਣ ਜਾਂਦਾ ਹੈ ਜਿਸਨੂੰ ਪੂਰਵ-ਸਿਖਲਾਈ ਕਿਹਾ ਜਾਂਦਾ ਹੈ ਜੋ ਫਿਰ ਖਾਸ ਕਾਰਜਾਂ ਨੂੰ ਕਰਨ ਲਈ ਖਾਸ ਨਿਊਰਲ ਨੈੱਟਵਰਕਾਂ 'ਤੇ ਲਾਗੂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਲੇਖਕ ਪੂਰਵ-ਸਿਖਲਾਈ ਵਜੋਂ data2vec ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ ਜਿਸਨੂੰ "ViT", "ਵਿਜ਼ਨ ਟ੍ਰਾਂਸਫਾਰਮਰ" ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਇੱਕ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਖਾਸ ਤੌਰ 'ਤੇ ਵਿਜ਼ਨ ਦੇ ਕੰਮਾਂ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਪਿਛਲੇ ਸਾਲ ਪੇਸ਼ ਕੀਤਾ ਗਿਆ ਸੀ Alexey Dosovitskiy ਅਤੇ Google 'ਤੇ ਸਹਿਯੋਗੀਆਂ ਦੁਆਰਾ। 

ਜਦੋਂ ਚਿੱਤਰ ਮਾਨਤਾ ਦੇ ਮਿਆਰੀ ਇਮੇਜਨੈੱਟ ਟੈਸਟ ਨੂੰ ਹੱਲ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਨ ਲਈ ViT 'ਤੇ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਉਹਨਾਂ ਦੇ ਨਤੀਜੇ 84.1% ਦੀ ਸ਼ੁੱਧਤਾ ਦੇ ਨਾਲ ਪੈਕ ਦੇ ਸਿਖਰ 'ਤੇ ਆਉਂਦੇ ਹਨ, ਜੋ ਕਿ Microsoft ਦੀ ਪ੍ਰੀ-ਟ੍ਰੇਂਡ ਟੀਮ ਦੁਆਰਾ ਪ੍ਰਾਪਤ 83.2% ਦੇ ਸਕੋਰ ਨਾਲੋਂ ਬਿਹਤਰ ਹੈ। ਵੀਆਈਟੀ, ਹੈਂਗਬੋ ਬਾਓ ਦੀ ਅਗਵਾਈ ਵਿੱਚ, ਪਿਛਲੇ ਸਾਲ.

ਅਤੇ ਉਹੀ data2vec ਟ੍ਰਾਂਸਫਾਰਮਰ ਨਤੀਜੇ ਆਊਟਪੁੱਟ ਦਿੰਦਾ ਹੈ ਜੋ ਬੋਲਣ ਦੀ ਪਛਾਣ ਲਈ ਕਲਾ ਦੇ ਰਾਜ ਹਨ ਅਤੇ ਜੋ ਪ੍ਰਤੀਯੋਗੀ ਹਨ, ਜੇ ਸਭ ਤੋਂ ਵਧੀਆ ਨਹੀਂ, ਤਾਂ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਸਿੱਖਣ ਲਈ:

ਪ੍ਰਯੋਗਾਤਮਕ ਨਤੀਜੇ ਦਰਸਾਉਂਦੇ ਹਨ ਕਿ data2vec ਨੂੰ ਤਿੰਨੋਂ ਰੂਪਾਂ ਵਿੱਚ ਪ੍ਰਭਾਵੀ ਹੋਣਾ, ਇਮੇਜਨੈੱਟ-1K 'ਤੇ ViT-B ਅਤੇ ViT-L ਲਈ ਕਲਾ ਦੀ ਇੱਕ ਨਵੀਂ ਸਥਿਤੀ ਸੈਟ ਕਰਦੇ ਹੋਏ, ਬੋਲੀ ਪਛਾਣ 'ਤੇ ਸਪੀਚ ਪ੍ਰੋਸੈਸਿੰਗ ਵਿੱਚ ਵਧੀਆ ਪੁਰਾਣੇ ਕੰਮ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨਾ ਅਤੇ RoBERta ਦੇ ਬਰਾਬਰ ਪ੍ਰਦਰਸ਼ਨ ਕਰਨਾ। GLUE ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਦੀ ਸਮਝ ਦੇ ਬੈਂਚਮਾਰਕ 'ਤੇ। 

ਜੜ੍ਹ ਇਹ ਹੈ ਕਿ ਇਹ ਚਿੱਤਰਾਂ ਬਾਰੇ ਹੋਣ ਲਈ ਨਿਊਰਲ ਨੈਟਵਰਕ ਦੇ ਕਿਸੇ ਵੀ ਸੋਧ ਤੋਂ ਬਿਨਾਂ ਹੋ ਰਿਹਾ ਹੈ, ਅਤੇ ਭਾਸ਼ਣ ਅਤੇ ਟੈਕਸਟ ਲਈ ਵੀ ਇਹੀ ਹੈ। ਇਸਦੀ ਬਜਾਏ, ਹਰ ਇੰਪੁੱਟ ਕਿਸਮ ਇੱਕੋ ਨੈੱਟਵਰਕ ਵਿੱਚ ਜਾ ਰਹੀ ਹੈ, ਅਤੇ ਉਹੀ ਬਹੁਤ ਹੀ ਆਮ ਕੰਮ ਨੂੰ ਪੂਰਾ ਕਰ ਰਹੀ ਹੈ। ਇਹ ਕੰਮ ਉਹੀ ਕੰਮ ਹੈ ਜੋ ਟ੍ਰਾਂਸਫਾਰਮਰ ਨੈਟਵਰਕ ਹਮੇਸ਼ਾ ਵਰਤਦੇ ਹਨ, ਜਿਸਨੂੰ "ਮਾਸਕਡ ਪੂਰਵ-ਅਨੁਮਾਨ" ਕਿਹਾ ਜਾਂਦਾ ਹੈ। 

ਵੀ: ਗੂਗਲ ਦਾ ਸੁਪਰਮਾਡਲ: ਡੀਪਮਾਈਂਡ ਪਰਸੀਵਰ ਇੱਕ ਏਆਈ ਮਸ਼ੀਨ ਦੇ ਰਸਤੇ 'ਤੇ ਇੱਕ ਕਦਮ ਹੈ ਜੋ ਕਿਸੇ ਵੀ ਚੀਜ਼ ਅਤੇ ਹਰ ਚੀਜ਼ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰ ਸਕਦਾ ਹੈ

ਜਿਸ ਤਰੀਕੇ ਨਾਲ data2vec ਮਾਸਕਡ ਪੂਰਵ-ਅਨੁਮਾਨ ਕਰਦਾ ਹੈ, ਹਾਲਾਂਕਿ, ਇੱਕ ਪਹੁੰਚ ਹੈ "ਸਵੈ-ਨਿਗਰਾਨੀ" ਸਿਖਲਾਈ ਵਜੋਂ ਜਾਣਿਆ ਜਾਂਦਾ ਹੈ। ਇੱਕ ਸਵੈ-ਨਿਗਰਾਨੀ ਸੈਟਿੰਗ ਵਿੱਚ, ਇੱਕ ਤੰਤੂ ਨੈੱਟਵਰਕ ਨੂੰ ਕਈ ਪੜਾਵਾਂ ਵਿੱਚੋਂ ਲੰਘਣ ਦੁਆਰਾ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ, ਜਾਂ ਵਿਕਸਤ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। 

ਪਹਿਲਾਂ, ਨੈਟਵਰਕ ਡੇਟਾ ਇਨਪੁਟ ਦੀ ਸੰਯੁਕਤ ਸੰਭਾਵਨਾ ਦੀ ਪ੍ਰਤੀਨਿਧਤਾ ਬਣਾਉਂਦਾ ਹੈ, ਭਾਵੇਂ ਇਹ ਚਿੱਤਰ ਜਾਂ ਭਾਸ਼ਣ ਜਾਂ ਟੈਕਸਟ ਹੋਵੇ। ਫਿਰ, ਨੈਟਵਰਕ ਦੇ ਇੱਕ ਦੂਜੇ ਸੰਸਕਰਣ ਵਿੱਚ ਇਹਨਾਂ ਵਿੱਚੋਂ ਕੁਝ ਇਨਪੁਟ ਡੇਟਾ ਆਈਟਮਾਂ "ਮਾਸਕ ਆਉਟ" ਹਨ, ਅਣਜਾਣ ਰਹਿ ਗਈਆਂ ਹਨ। ਇਸਨੂੰ ਸੰਯੁਕਤ ਸੰਭਾਵਨਾ ਦਾ ਪੁਨਰਗਠਨ ਕਰਨਾ ਹੁੰਦਾ ਹੈ ਜੋ ਨੈਟਵਰਕ ਦੇ ਪਹਿਲੇ ਸੰਸਕਰਣ ਦੁਆਰਾ ਬਣਾਇਆ ਗਿਆ ਸੀ, ਜੋ ਇਸਨੂੰ ਜ਼ਰੂਰੀ ਤੌਰ 'ਤੇ ਖਾਲੀ ਥਾਂਵਾਂ ਨੂੰ ਭਰ ਕੇ ਡੇਟਾ ਦੀ ਬਿਹਤਰ ਅਤੇ ਵਧੀਆ ਪ੍ਰਤੀਨਿਧਤਾ ਬਣਾਉਣ ਲਈ ਮਜਬੂਰ ਕਰਦਾ ਹੈ। 

ਦੋ ਨੈਟਵਰਕ, ਇੱਕ ਸੰਯੁਕਤ ਸੰਭਾਵਨਾ ਦੇ ਪੂਰੇ ਪੈਟਰਨ ਵਾਲਾ, ਅਤੇ ਇੱਕ ਅਧੂਰਾ ਸੰਸਕਰਣ ਜਿਸ ਨੂੰ ਇਹ ਪੂਰਾ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਿਹਾ ਹੈ, ਨੂੰ ਸਮਝਦਾਰੀ ਨਾਲ "ਅਧਿਆਪਕ" ਅਤੇ "ਵਿਦਿਆਰਥੀ" ਕਿਹਾ ਜਾਂਦਾ ਹੈ। ਵਿਦਿਆਰਥੀ ਨੈੱਟਵਰਕ, ਜੇਕਰ ਤੁਸੀਂ ਚਾਹੋ ਤਾਂ, ਅਧਿਆਪਕ ਦੁਆਰਾ ਪਹਿਲਾਂ ਹੀ ਪ੍ਰਾਪਤ ਕੀਤੇ ਗਏ ਕੰਮਾਂ ਨੂੰ ਪੁਨਰਗਠਨ ਕਰਕੇ, ਡੇਟਾ ਦੀ ਆਪਣੀ ਭਾਵਨਾ ਨੂੰ ਵਿਕਸਿਤ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ ਹੈ।

ਤੁਸੀਂ ਕਰ ਸੱਕਦੇ ਹੋ Github 'ਤੇ ਮਾਡਲਾਂ ਲਈ ਕੋਡ ਦੇਖੋ.

ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਤਿੰਨ ਬਹੁਤ ਹੀ ਵੱਖ-ਵੱਖ ਕਿਸਮਾਂ ਦੇ ਡੇਟਾ ਲਈ ਅਧਿਆਪਕ ਅਤੇ ਵਿਦਿਆਰਥੀ ਕਿਵੇਂ ਪ੍ਰਦਰਸ਼ਨ ਕਰ ਰਿਹਾ ਹੈ? ਕੁੰਜੀ ਇਹ ਹੈ ਕਿ ਸੰਯੁਕਤ ਸੰਭਾਵਨਾ ਦਾ "ਨਿਸ਼ਾਨਾ", ਸਾਰੇ ਤਿੰਨ ਡਾਟਾ ਕੇਸਾਂ ਵਿੱਚ, ਇੱਕ ਖਾਸ ਆਉਟਪੁੱਟ ਡੇਟਾ ਕਿਸਮ ਨਹੀਂ ਹੈ, ਜਿਵੇਂ ਕਿ ਇੱਕ ਖਾਸ ਡੇਟਾ ਕਿਸਮ ਲਈ ਟ੍ਰਾਂਸਫਾਰਮਰ ਦੇ ਸੰਸਕਰਣਾਂ ਵਿੱਚ ਹੁੰਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ Google ਦਾ BERT ਜਾਂ OpenAI ਦਾ GPT-3। . 

ਇਸ ਦੀ ਬਜਾਇ, data2vec ਨਿਊਰਲ ਨੈਟਵਰਕ ਲੇਅਰਾਂ ਦੇ ਕੁਝ ਸਮੂਹ ਨੂੰ ਫੜ ਰਿਹਾ ਹੈ ਜੋ ਹਨ ਅੰਦਰ ਨਿਊਰਲ ਨੈੱਟਵਰਕ, ਮੱਧ ਵਿੱਚ ਕਿਤੇ, ਜੋ ਕਿ ਹਰ ਇੱਕ ਅੰਤਿਮ ਆਉਟਪੁੱਟ ਦੇ ਰੂਪ ਵਿੱਚ ਪੈਦਾ ਹੋਣ ਤੋਂ ਪਹਿਲਾਂ ਡੇਟਾ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। 

ਜਿਵੇਂ ਕਿ ਲੇਖਕ ਲਿਖਦੇ ਹਨ, "ਸਾਡੀ ਵਿਧੀ ਦੇ ਮੁੱਖ ਅੰਤਰਾਂ ਵਿੱਚੋਂ ਇੱਕ […] ਨਕਾਬਪੋਸ਼ ਪੂਰਵ-ਅਨੁਮਾਨ ਕਰਨ ਤੋਂ ਇਲਾਵਾ, ਟੀਚਿਆਂ ਦੀ ਵਰਤੋਂ ਹੈ ਜੋ ਅਧਿਆਪਕ ਨੈਟਵਰਕ ਤੋਂ ਔਸਤ ਕਈ ਪਰਤਾਂ 'ਤੇ ਅਧਾਰਤ ਹਨ।" ਖਾਸ ਤੌਰ 'ਤੇ, "ਅਸੀਂ ਸਿਰਫ ਸਿਖਰ ਦੀ ਪਰਤ ਦੀ ਬਜਾਏ ਮਲਟੀਪਲ ਨਿਊਰਲ ਨੈਟਵਰਕ ਲੇਅਰ ਪ੍ਰਸਤੁਤੀਆਂ ਨੂੰ ਰੀਗਰੈਸ ਕਰਦੇ ਹਾਂ," ਤਾਂ ਜੋ "data2vec ਇਨਪੁਟ ਡੇਟਾ ਦੇ ਗੁਪਤ ਪ੍ਰਸਤੁਤੀਆਂ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰੇ।"

ਉਹ ਜੋੜਦੇ ਹਨ, "ਅਸੀਂ ਆਮ ਤੌਰ 'ਤੇ FFN [ਫੀਡ-ਫਾਰਵਰਡ ਨੈੱਟਵਰਕ] ਦੇ ਆਉਟਪੁੱਟ ਦੀ ਵਰਤੋਂ ਟੀਚੇ ਵਜੋਂ ਹਰੇਕ ਬਲਾਕ ਵਿੱਚ ਆਖਰੀ ਬਚੇ ਹੋਏ ਕੁਨੈਕਸ਼ਨ ਤੋਂ ਪਹਿਲਾਂ ਕਰਦੇ ਹਾਂ," ਜਿੱਥੇ ਇੱਕ "ਬਲਾਕ" ਇੱਕ ਨਿਊਰਲ ਨੈਟਵਰਕ ਲੇਅਰ ਦੇ ਬਰਾਬਰ ਟ੍ਰਾਂਸਫਾਰਮਰ ਹੁੰਦਾ ਹੈ।

ਬਿੰਦੂ ਇਹ ਹੈ ਕਿ ਹਰੇਕ ਡੇਟਾ ਕਿਸਮ ਜੋ ਅੰਦਰ ਜਾਂਦੀ ਹੈ, ਵਿਦਿਆਰਥੀ ਨੈਟਵਰਕ ਲਈ ਨਿਊਰਲ ਨੈਟਵਰਕ ਦੇ ਅੰਦਰ ਕਿਸੇ ਚੀਜ਼ ਨੂੰ ਪੁਨਰਗਠਨ ਕਰਨ ਲਈ ਉਹੀ ਚੁਣੌਤੀ ਬਣ ਜਾਂਦੀ ਹੈ ਜੋ ਅਧਿਆਪਕ ਦੁਆਰਾ ਬਣਾਈ ਗਈ ਸੀ।

ਇਹ ਔਸਤ ਸਾਰੇ ਡੇਟਾ ਨੂੰ ਕਰੰਚ ਕਰਨ ਲਈ ਇੱਕ ਨੈੱਟਵਰਕ ਬਣਾਉਣ ਲਈ ਹੋਰ ਹਾਲੀਆ ਪਹੁੰਚਾਂ ਤੋਂ ਵੱਖਰਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਪਿਛਲੀਆਂ ਗਰਮੀਆਂ ਵਿੱਚ, ਗੂਗਲ ਦੀ ਡੀਪਮਾਈਂਡ ਯੂਨਿਟ ਨੇ ਪੇਸ਼ਕਸ਼ ਕੀਤੀ ਜਿਸਨੂੰ ਇਸਨੂੰ "ਪਰਸੀਵਰ" ਕਹਿੰਦੇ ਹਨ, ਟ੍ਰਾਂਸਫਾਰਮਰ ਦਾ ਆਪਣਾ ਮਲਟੀ-ਮੋਡਲ ਸੰਸਕਰਣ। ਪਰਸੀਵਰ ਨਿਊਰਲ ਨੈਟਵਰਕ ਦੀ ਸਿਖਲਾਈ ਇੱਕ ਆਉਟਪੁੱਟ ਪੈਦਾ ਕਰਨ ਦੀ ਵਧੇਰੇ-ਮਿਆਰੀ ਪ੍ਰਕਿਰਿਆ ਹੈ ਜੋ ਲੇਬਲ ਕੀਤੇ, ਨਿਗਰਾਨੀ ਕੀਤੇ ਕੰਮ ਜਿਵੇਂ ਕਿ ਇਮੇਜਨੈੱਟ ਦਾ ਜਵਾਬ ਹੈ। ਸਵੈ-ਨਿਗਰਾਨੀ ਪਹੁੰਚ ਵਿੱਚ, data2vec ਉਹਨਾਂ ਲੇਬਲਾਂ ਦੀ ਵਰਤੋਂ ਨਹੀਂ ਕਰ ਰਿਹਾ ਹੈ, ਇਹ ਸਿਰਫ਼ ਡਾਟਾ ਦੀ ਨੈੱਟਵਰਕ ਦੀ ਅੰਦਰੂਨੀ ਨੁਮਾਇੰਦਗੀ ਦਾ ਪੁਨਰਗਠਨ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਿਹਾ ਹੈ। 

ਹੋਰ ਵੀ ਅਭਿਲਾਸ਼ੀ ਕੋਸ਼ਿਸ਼ਾਂ ਖੰਭਾਂ ਵਿੱਚ ਪਈਆਂ ਹਨ। ਜੈੱਫ ਡੀਨ, ਗੂਗਲ ਦੇ ਏਆਈ ਯਤਨਾਂ ਦੇ ਮੁਖੀ, ਅਕਤੂਬਰ ਵਿੱਚ "ਪਾਥਵੇਜ਼" ਬਾਰੇ ਛੇੜਛਾੜ ਕਰਦੇ ਹਨ, ਜੋ ਡੀਨ ਦਾ ਦਾਅਵਾ ਹੈ ਕਿ "ਅਗਲੀ ਪੀੜ੍ਹੀ ਦਾ ਏਆਈ ਆਰਕੀਟੈਕਚਰਮਲਟੀ-ਮੋਡਲ ਡਾਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਲਈ।

ਤੁਹਾਨੂੰ ਯਾਦ ਰੱਖੋ, ਇੱਕ ਤੋਂ ਵੱਧ ਰੂਪਾਂਤਰੀਆਂ ਲਈ ਇੱਕ ਸਿੰਗਲ ਨਿਊਰਲ ਨੈੱਟ ਲਈ data2vec ਦੀ ਬਹੁਤ ਆਮ ਪਹੁੰਚ ਵਿੱਚ ਅਜੇ ਵੀ ਵੱਖ-ਵੱਖ ਡਾਟਾ ਕਿਸਮਾਂ ਬਾਰੇ ਬਹੁਤ ਸਾਰੀ ਜਾਣਕਾਰੀ ਹੈ। ਚਿੱਤਰ, ਭਾਸ਼ਣ ਅਤੇ ਟੈਕਸਟ ਸਾਰੇ ਡੇਟਾ ਦੀ ਪ੍ਰੀ-ਪ੍ਰੋਸੈਸਿੰਗ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੇ ਜਾਂਦੇ ਹਨ. ਇਸ ਤਰੀਕੇ ਨਾਲ, ਨੈੱਟਵਰਕ ਦਾ ਬਹੁ-ਮਾਡਲ ਪਹਿਲੂ ਅਜੇ ਵੀ ਡੇਟਾ ਬਾਰੇ ਸੁਰਾਗ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ, ਜਿਸ ਨੂੰ ਟੀਮ "ਛੋਟੇ ਢੰਗ-ਵਿਸ਼ੇਸ਼ ਇਨਪੁਟ ਏਨਕੋਡਰ" ਵਜੋਂ ਦਰਸਾਉਂਦੀ ਹੈ।

ਵੀ: ਗੂਗਲ ਨੇ 'ਪਾਥਵੇਜ਼' ਦਾ ਪਰਦਾਫਾਸ਼ ਕੀਤਾ, ਇੱਕ ਅਗਲੀ ਪੀੜ੍ਹੀ ਦਾ ਏਆਈ ਜਿਸ ਨੂੰ ਮਲਟੀਟਾਸਕ ਲਈ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾ ਸਕਦੀ ਹੈ

"ਯੂਨੀਫਾਈਡ ਲਰਨਿੰਗ ਪ੍ਰਣਾਲੀ ਦੇ ਬਾਵਜੂਦ, ਅਸੀਂ ਅਜੇ ਵੀ ਰੂਪ-ਵਿਸ਼ੇਸ਼ ਵਿਸ਼ੇਸ਼ਤਾ ਐਕਸਟਰੈਕਟਰ ਅਤੇ ਮਾਸਕਿੰਗ ਰਣਨੀਤੀਆਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ," ਉਹ ਦੱਸਦੇ ਹਨ।

ਇਸ ਲਈ, ਅਸੀਂ ਅਜੇ ਅਜਿਹੀ ਦੁਨੀਆ ਵਿੱਚ ਨਹੀਂ ਹਾਂ ਜਿੱਥੇ ਇੱਕ ਨਿਊਰਲ ਨੈੱਟ ਨੂੰ ਇਨਪੁਟ ਡੇਟਾ ਕਿਸਮਾਂ ਦੀ ਕਿਸੇ ਵੀ ਭਾਵਨਾ ਦੇ ਬਿਨਾਂ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ। ਅਸੀਂ ਸਮੇਂ ਦੇ ਇੱਕ ਬਿੰਦੂ 'ਤੇ ਵੀ ਨਹੀਂ ਹਾਂ ਜਦੋਂ ਨਿਊਰਲ ਨੈਟਵਰਕ ਇੱਕ ਨੁਮਾਇੰਦਗੀ ਬਣਾ ਸਕਦਾ ਹੈ ਜੋ ਸਾਰੇ ਵੱਖ-ਵੱਖ ਡੇਟਾ ਕਿਸਮਾਂ ਨੂੰ ਜੋੜਦਾ ਹੈ, ਤਾਂ ਜੋ ਨਿਊਰਲ ਨੈੱਟ ਸੁਮੇਲ ਵਿੱਚ ਚੀਜ਼ਾਂ ਸਿੱਖ ਰਿਹਾ ਹੋਵੇ।

ਇਹ ਤੱਥ ਆਪਸ ਵਿੱਚ ਹੋਏ ਵਟਾਂਦਰੇ ਤੋਂ ਸਪੱਸ਼ਟ ਹੋ ਗਿਆ ਹੈ ZDNet ਅਤੇ ਲੇਖਕ. ZDNet ਬਾਏਵਸਕੀ ਅਤੇ ਟੀਮ ਤੱਕ ਪਹੁੰਚ ਕੀਤੀ ਅਤੇ ਪੁੱਛਿਆ, "ਕੀ ਗੁਪਤ ਪ੍ਰਤੀਨਿਧਤਾਵਾਂ ਜੋ ਕਿਸੇ ਵੀ ਸਮੇਂ ਦੇ ਪੜਾਅ 'ਤੇ ਤਿੰਨਾਂ ਰੂਪਾਂਤਰਾਂ ਦੀ ਸੰਯੁਕਤ ਏਨਕੋਡਿੰਗ ਨੂੰ ਟੀਚੇ ਵਜੋਂ ਕੰਮ ਕਰਦੀਆਂ ਹਨ, ਜਾਂ ਕੀ ਉਹ ਆਮ ਤੌਰ 'ਤੇ ਰੂਪ-ਰੇਖਾਵਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹਨ?"

ਬਾਏਵਸਕੀ ਅਤੇ ਟੀਮ ਨੇ ਜਵਾਬ ਦਿੱਤਾ ਕਿ ਇਹ ਬਾਅਦ ਵਾਲਾ ਮਾਮਲਾ ਹੈ, ਅਤੇ ਉਹਨਾਂ ਦਾ reply ਲੰਬਾਈ 'ਤੇ ਹਵਾਲਾ ਦੇਣਾ ਦਿਲਚਸਪ ਹੈ:

ਗੁਪਤ ਵੇਰੀਏਬਲ ਤਿੰਨ ਰੂਪਾਂ ਲਈ ਸੰਯੁਕਤ ਏਨਕੋਡਿੰਗ ਨਹੀਂ ਹਨ। ਅਸੀਂ ਹਰੇਕ ਮਾਡਲ ਲਈ ਵੱਖਰੇ ਮਾਡਲਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦਿੰਦੇ ਹਾਂ ਪਰ ਪ੍ਰਕਿਰਿਆ ਜਿਸ ਰਾਹੀਂ ਮਾਡਲ ਸਿੱਖਦੇ ਹਨ ਇੱਕੋ ਜਿਹੀ ਹੈ। ਇਹ ਸਾਡੇ ਪ੍ਰੋਜੈਕਟ ਦੀ ਮੁੱਖ ਨਵੀਨਤਾ ਹੈ ਕਿਉਂਕਿ ਇਸ ਤੋਂ ਪਹਿਲਾਂ ਵੱਖ-ਵੱਖ ਰੂਪਾਂ ਵਿੱਚ ਮਾਡਲਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਦੇ ਤਰੀਕੇ ਵਿੱਚ ਵੱਡੇ ਅੰਤਰ ਸਨ। ਤੰਤੂ-ਵਿਗਿਆਨਕ ਇਹ ਵੀ ਮੰਨਦੇ ਹਨ ਕਿ ਮਨੁੱਖ ਆਵਾਜ਼ਾਂ ਅਤੇ ਵਿਜ਼ੂਅਲ ਸੰਸਾਰ ਬਾਰੇ ਇੱਕੋ ਜਿਹੇ ਤਰੀਕਿਆਂ ਨਾਲ ਸਿੱਖਦੇ ਹਨ। ਸਾਡਾ ਪ੍ਰੋਜੈਕਟ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਸਵੈ-ਨਿਗਰਾਨੀ ਸਿੱਖਣ ਵੀ ਵੱਖ-ਵੱਖ ਰੂਪਾਂਤਰਾਂ ਲਈ ਉਸੇ ਤਰੀਕੇ ਨਾਲ ਕੰਮ ਕਰ ਸਕਦੀ ਹੈ।

data2vec ਦੀਆਂ ਮੋਡੈਲਿਟੀ-ਵਿਸ਼ੇਸ਼ ਸੀਮਾਵਾਂ ਨੂੰ ਦੇਖਦੇ ਹੋਏ, ਇੱਕ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਜੋ ਸੱਚਮੁੱਚ ਹੋ ਸਕਦਾ ਹੈ ਉਨ੍ਹਾਂ ਸਾਰਿਆਂ 'ਤੇ ਰਾਜ ਕਰਨ ਲਈ ਇੱਕ ਨੈੱਟਵਰਕ ਭਵਿੱਖ ਦੀ ਤਕਨਾਲੋਜੀ ਰਹਿੰਦੀ ਹੈ।