ਦੀਪਮਾਈਂਡ ਦੀ 'ਗਾਟੋ' ਮੱਧਮ ਹੈ, ਤਾਂ ਉਨ੍ਹਾਂ ਨੇ ਇਸ ਨੂੰ ਕਿਉਂ ਬਣਾਇਆ?

deepmind-gato-slash-image-closer-in.png

ਡੀਪਮਾਈਂਡ ਦਾ “ਗੈਟੋ” ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਕਈ ਕੰਮਾਂ ਵਿੱਚ ਉੱਤਮ ਹੈ ਜਿਸ ਵਿੱਚ ਰੋਬੋਟਿਕ ਹਥਿਆਰਾਂ ਨੂੰ ਨਿਯੰਤਰਿਤ ਕਰਨਾ ਸ਼ਾਮਲ ਹੈ ਜੋ ਬਲਾਕਾਂ ਨੂੰ ਸਟੈਕ ਕਰਦੇ ਹਨ, ਅਟਾਰੀ 2600 ਗੇਮਾਂ ਖੇਡਦੇ ਹਨ, ਅਤੇ ਚਿੱਤਰਾਂ ਨੂੰ ਸੁਰਖੀਆਂ ਦਿੰਦੇ ਹਨ।


ਡਾਈਨਮਾਈਂਡ

ਦੁਨੀਆ ਨਕਲੀ ਬੁੱਧੀ ਦੇ ਡੂੰਘੇ ਸਿੱਖਣ ਵਾਲੇ ਰੂਪਾਂ ਦੁਆਰਾ ਨਵੀਨਤਮ ਸਫਲਤਾ ਬਾਰੇ ਸੁਰਖੀਆਂ ਦੇਖਣ ਲਈ ਆਦੀ ਹੈ। ਗੂਗਲ ਦੇ ਡੀਪਮਾਈਂਡ ਡਿਵੀਜ਼ਨ ਦੀ ਨਵੀਨਤਮ ਪ੍ਰਾਪਤੀ, ਹਾਲਾਂਕਿ, ਇਸ ਤਰ੍ਹਾਂ ਸੰਖੇਪ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ, "ਇੱਕ AI ਪ੍ਰੋਗਰਾਮ ਜੋ ਬਹੁਤ ਸਾਰੀਆਂ ਚੀਜ਼ਾਂ 'ਤੇ ਅਜਿਹਾ ਕੰਮ ਕਰਦਾ ਹੈ।" 

ਗਾਟੋ, ਜਿਵੇਂ ਕਿ ਦੀਪਮਾਈਂਡ ਦੇ ਪ੍ਰੋਗਰਾਮ ਨੂੰ ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਇਸ ਹਫ਼ਤੇ ਦਾ ਉਦਘਾਟਨ ਕੀਤਾ ਗਿਆ ਸੀ ਇੱਕ ਅਖੌਤੀ ਮਲਟੀਮੋਡਲ ਪ੍ਰੋਗਰਾਮ ਦੇ ਰੂਪ ਵਿੱਚ, ਇੱਕ ਜੋ ਵੀਡੀਓ ਗੇਮਾਂ ਖੇਡ ਸਕਦਾ ਹੈ, ਚੈਟ ਕਰ ਸਕਦਾ ਹੈ, ਰਚਨਾਵਾਂ ਲਿਖ ਸਕਦਾ ਹੈ, ਤਸਵੀਰਾਂ ਕੈਪਸ਼ਨ ਕਰ ਸਕਦਾ ਹੈ, ਅਤੇ ਰੋਬੋਟਿਕ ਆਰਮ ਸਟੈਕਿੰਗ ਬਲਾਕਾਂ ਨੂੰ ਨਿਯੰਤਰਿਤ ਕਰ ਸਕਦਾ ਹੈ। ਇਹ ਇੱਕ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਹੈ ਜੋ ਕਈ ਤਰ੍ਹਾਂ ਦੇ ਕੰਮਾਂ ਨੂੰ ਕਰਨ ਲਈ ਕਈ ਤਰ੍ਹਾਂ ਦੇ ਡੇਟਾ ਨਾਲ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ। 

"ਵਜ਼ਨ ਦੇ ਇੱਕ ਸਮੂਹ ਦੇ ਨਾਲ, ਗਾਟੋ ਸੰਵਾਦ, ਸੁਰਖੀ ਚਿੱਤਰ, ਇੱਕ ਅਸਲੀ ਰੋਬੋਟ ਬਾਂਹ ਨਾਲ ਸਟੈਕ ਬਲਾਕ, ਅਟਾਰੀ ਗੇਮਾਂ ਖੇਡਣ ਵਿੱਚ ਮਨੁੱਖਾਂ ਨੂੰ ਪਛਾੜ ਸਕਦਾ ਹੈ, ਸਿਮੂਲੇਟਡ 3D ਵਾਤਾਵਰਣ ਵਿੱਚ ਨੈਵੀਗੇਟ ਕਰ ਸਕਦਾ ਹੈ, ਨਿਰਦੇਸ਼ਾਂ ਦੀ ਪਾਲਣਾ ਕਰ ਸਕਦਾ ਹੈ, ਅਤੇ ਹੋਰ ਬਹੁਤ ਕੁਝ," ਮੁੱਖ ਲੇਖਕ ਸਕਾਟ ਰੀਡ ਲਿਖੋ। ਅਤੇ ਉਹਨਾਂ ਦੇ ਪੇਪਰ ਵਿੱਚ ਸਹਿਯੋਗੀ, "ਇੱਕ ਜਨਰਲਿਸਟ ਏਜੰਟ," Arxiv ਪ੍ਰੀਪ੍ਰਿੰਟ ਸਰਵਰ 'ਤੇ ਪੋਸਟ ਕੀਤਾ ਗਿਆ

ਡੀਪਮਾਈਂਡ ਦੇ ਸਹਿ-ਸੰਸਥਾਪਕ ਡੇਮਿਸ ਹਸਾਬਿਸ ਨੇ ਟੀਮ ਦੀ ਸ਼ਲਾਘਾ ਕੀਤੀ, ਇੱਕ ਟਵੀਟ ਵਿੱਚ ਰੌਲਾ ਪਾਉਂਦੇ ਹੋਏ, “ਅਜੇ ਤੱਕ ਸਾਡਾ ਸਭ ਤੋਂ ਆਮ ਏਜੰਟ!! ਟੀਮ ਵੱਲੋਂ ਸ਼ਾਨਦਾਰ ਕੰਮ!” 

ਵੀ: ਇੱਕ ਨਵਾਂ ਪ੍ਰਯੋਗ: ਕੀ AI ਅਸਲ ਵਿੱਚ ਬਿੱਲੀਆਂ ਜਾਂ ਕੁੱਤਿਆਂ ਨੂੰ ਜਾਣਦਾ ਹੈ - ਜਾਂ ਕੁਝ ਵੀ?

ਇਕੋ ਇਕ ਕੈਚ ਇਹ ਹੈ ਕਿ ਗੈਟੋ ਅਸਲ ਵਿਚ ਕਈ ਕੰਮਾਂ ਵਿਚ ਇੰਨਾ ਵਧੀਆ ਨਹੀਂ ਹੈ. 

ਇੱਕ ਪਾਸੇ, ਪ੍ਰੋਗਰਾਮ ਇੱਕ ਰੋਬੋਟਿਕ ਸੌਅਰ ਆਰਮ ਨੂੰ ਕੰਟਰੋਲ ਕਰਨ ਲਈ ਇੱਕ ਸਮਰਪਿਤ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਪ੍ਰੋਗਰਾਮ ਨਾਲੋਂ ਬਿਹਤਰ ਕੰਮ ਕਰਨ ਦੇ ਯੋਗ ਹੈ ਜੋ ਬਲਾਕਾਂ ਨੂੰ ਸਟੈਕ ਕਰਦਾ ਹੈ। ਦੂਜੇ ਪਾਸੇ, ਇਹ ਚਿੱਤਰਾਂ ਲਈ ਸੁਰਖੀਆਂ ਪੈਦਾ ਕਰਦਾ ਹੈ ਜੋ ਬਹੁਤ ਸਾਰੇ ਮਾਮਲਿਆਂ ਵਿੱਚ ਬਹੁਤ ਮਾੜੇ ਹਨ। ਮਨੁੱਖੀ ਵਾਰਤਾਕਾਰ ਦੇ ਨਾਲ ਮਿਆਰੀ ਗੱਲਬਾਤ ਵਾਰਤਾਲਾਪ ਵਿੱਚ ਇਸਦੀ ਯੋਗਤਾ ਵੀ ਇਸੇ ਤਰ੍ਹਾਂ ਮੱਧਮ ਹੈ, ਕਈ ਵਾਰ ਵਿਰੋਧੀ ਅਤੇ ਬੇਤੁਕੇ ਬੋਲਾਂ ਨੂੰ ਉਜਾਗਰ ਕਰਦੀ ਹੈ। 

ਅਤੇ ਇਸਦੀ ਅਟਾਰੀ 2600 ਵੀਡੀਓ ਗੇਮਾਂ ਦਾ ਖੇਡਣਾ ਬੈਂਚਮਾਰਕ ਵਿੱਚ ਮੁਕਾਬਲਾ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤੇ ਗਏ ਬਹੁਤੇ ਸਮਰਪਿਤ ML ਪ੍ਰੋਗਰਾਮਾਂ ਤੋਂ ਹੇਠਾਂ ਆਉਂਦਾ ਹੈ। ਆਰਕੇਡ ਲਰਨਿੰਗ ਵਾਤਾਵਰਨ

ਤੁਸੀਂ ਅਜਿਹਾ ਪ੍ਰੋਗਰਾਮ ਕਿਉਂ ਬਣਾਉਂਦੇ ਹੋ ਜੋ ਕੁਝ ਚੀਜ਼ਾਂ ਨੂੰ ਬਹੁਤ ਵਧੀਆ ਢੰਗ ਨਾਲ ਕਰਦਾ ਹੈ ਅਤੇ ਹੋਰ ਚੀਜ਼ਾਂ ਦਾ ਝੁੰਡ ਇੰਨਾ ਵਧੀਆ ਨਹੀਂ ਹੈ? ਲੇਖਕਾਂ ਦੇ ਅਨੁਸਾਰ, ਪੂਰਵ ਅਤੇ ਉਮੀਦ. 

ਏਆਈ ਵਿੱਚ ਕਲਾ ਦੀ ਸਥਿਤੀ ਬਣਨ ਲਈ ਵਧੇਰੇ ਆਮ ਕਿਸਮਾਂ ਦੇ ਪ੍ਰੋਗਰਾਮਾਂ ਦੀ ਮਿਸਾਲ ਹੈ, ਅਤੇ ਇੱਕ ਉਮੀਦ ਹੈ ਕਿ ਕੰਪਿਊਟਿੰਗ ਸ਼ਕਤੀ ਦੀ ਵੱਧ ਰਹੀ ਮਾਤਰਾ ਭਵਿੱਖ ਵਿੱਚ ਕਮੀਆਂ ਨੂੰ ਪੂਰਾ ਕਰੇਗੀ। 

ਸਾਧਾਰਨਤਾ ਏਆਈ ਵਿੱਚ ਜਿੱਤ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੀ ਹੈ। ਜਿਵੇਂ ਕਿ ਲੇਖਕ ਨੋਟ ਕਰਦੇ ਹਨ, ਏਆਈ ਵਿਦਵਾਨ ਰਿਚਰਡ ਸੂਟਨ ਦਾ ਹਵਾਲਾ ਦਿੰਦੇ ਹੋਏ, "ਇਤਿਹਾਸਕ ਤੌਰ 'ਤੇ, ਆਮ ਮਾਡਲ ਜੋ ਗਣਨਾ ਦਾ ਲਾਭ ਲੈਣ ਵਿੱਚ ਬਿਹਤਰ ਹੁੰਦੇ ਹਨ, ਅੰਤ ਵਿੱਚ ਵਧੇਰੇ ਵਿਸ਼ੇਸ਼ ਡੋਮੇਨ-ਵਿਸ਼ੇਸ਼ ਪਹੁੰਚਾਂ ਨੂੰ ਵੀ ਪਿੱਛੇ ਛੱਡਦੇ ਹਨ।"

ਜਿਵੇਂ ਕਿ ਸਟਨ ਨੇ ਲਿਖਿਆ ਸੀ ਉਸ ਦੇ ਆਪਣੇ ਬਲਾਗ ਪੋਸਟ ਵਿੱਚ, "ਸਭ ਤੋਂ ਵੱਡਾ ਸਬਕ ਜੋ 70 ਸਾਲਾਂ ਦੀ AI ਖੋਜ ਤੋਂ ਪੜ੍ਹਿਆ ਜਾ ਸਕਦਾ ਹੈ ਉਹ ਇਹ ਹੈ ਕਿ ਆਮ ਢੰਗ ਜੋ ਗਣਨਾ ਦਾ ਲਾਭ ਉਠਾਉਂਦੇ ਹਨ, ਆਖਰਕਾਰ ਸਭ ਤੋਂ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੁੰਦੇ ਹਨ, ਅਤੇ ਇੱਕ ਵੱਡੇ ਫਰਕ ਨਾਲ."

ਇੱਕ ਰਸਮੀ ਥੀਸਿਸ ਵਿੱਚ ਪਾਓ, ਰੀਡ ਅਤੇ ਟੀਮ ਲਿਖਦੇ ਹਨ ਕਿ “ਅਸੀਂ ਇੱਥੇ ਇਸ ਧਾਰਨਾ ਦੀ ਜਾਂਚ ਕਰਦੇ ਹਾਂ ਕਿ ਇੱਕ ਏਜੰਟ ਨੂੰ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾ ਸਕਦੀ ਹੈ ਜੋ ਆਮ ਤੌਰ 'ਤੇ ਵੱਡੀ ਗਿਣਤੀ ਵਿੱਚ ਕਾਰਜਾਂ ਲਈ ਸਮਰੱਥ ਹੈ; ਅਤੇ ਇਹ ਕਿ ਇਸ ਜਨਰਲ ਏਜੰਟ ਨੂੰ ਕੰਮ ਦੀ ਇੱਕ ਵੱਡੀ ਗਿਣਤੀ ਵਿੱਚ ਸਫਲ ਹੋਣ ਲਈ ਥੋੜ੍ਹੇ ਜਿਹੇ ਵਾਧੂ ਡੇਟਾ ਦੇ ਨਾਲ ਅਨੁਕੂਲਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।"

ਵੀ: ਮੈਟਾ ਦੀ AI ਲਿਊਮਿਨਰੀ LeCun ਡੂੰਘੀ ਸਿਖਲਾਈ ਦੀ ਊਰਜਾ ਸਰਹੱਦ ਦੀ ਪੜਚੋਲ ਕਰਦੀ ਹੈ

ਮਾਡਲ, ਇਸ ਕੇਸ ਵਿੱਚ, ਅਸਲ ਵਿੱਚ, ਬਹੁਤ ਆਮ ਹੈ. ਇਹ ਟ੍ਰਾਂਸਫਾਰਮਰ ਦਾ ਇੱਕ ਸੰਸਕਰਣ ਹੈ, ਪ੍ਰਮੁੱਖ ਕਿਸਮ ਦਾ ਧਿਆਨ-ਆਧਾਰਿਤ ਮਾਡਲ ਜੋ GPT-3 ਸਮੇਤ ਕਈ ਪ੍ਰੋਗਰਾਮਾਂ ਦਾ ਅਧਾਰ ਬਣ ਗਿਆ ਹੈ। ਇੱਕ ਟਰਾਂਸਫਾਰਮਰ ਕੁਝ ਤੱਤ ਦੀ ਸੰਭਾਵੀਤਾ ਨੂੰ ਮਾਡਲ ਦਿੰਦਾ ਹੈ ਜੋ ਇਸਦੇ ਆਲੇ ਦੁਆਲੇ ਦੇ ਤੱਤ ਜਿਵੇਂ ਕਿ ਇੱਕ ਵਾਕ ਵਿੱਚ ਸ਼ਬਦ ਹਨ। 

ਗੈਟੋ ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਡੀਪਮਾਈਂਡ ਵਿਗਿਆਨੀ ਕਈ ਡਾਟਾ ਕਿਸਮਾਂ 'ਤੇ ਇੱਕੋ ਸ਼ਰਤ ਸੰਭਾਵੀ ਖੋਜ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੇ ਯੋਗ ਹਨ। 

ਜਿਵੇਂ ਕਿ ਰੀਡ ਅਤੇ ਸਹਿਕਰਮੀ ਗਾਟੋ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਦੇ ਕੰਮ ਦਾ ਵਰਣਨ ਕਰਦੇ ਹਨ, 

ਗੈਟੋ ਦੇ ਸਿਖਲਾਈ ਪੜਾਅ ਦੇ ਦੌਰਾਨ, ਵੱਖ-ਵੱਖ ਕੰਮਾਂ ਅਤੇ ਰੂਪ-ਰੇਖਾਵਾਂ ਦੇ ਡੇਟਾ ਨੂੰ ਟੋਕਨਾਂ ਦੇ ਇੱਕ ਫਲੈਟ ਕ੍ਰਮ ਵਿੱਚ ਲੜੀਬੱਧ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਬੈਚ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਇੱਕ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ ਦੇ ਸਮਾਨ ਇੱਕ ਟ੍ਰਾਂਸਫਾਰਮਰ ਨਿਊਰਲ ਨੈਟਵਰਕ ਦੁਆਰਾ ਸੰਸਾਧਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਨੁਕਸਾਨ ਨੂੰ ਮਖੌਟਾ ਕੀਤਾ ਗਿਆ ਹੈ ਤਾਂ ਜੋ ਗੈਟੋ ਸਿਰਫ ਕਾਰਵਾਈ ਅਤੇ ਟੈਕਸਟ ਟੀਚਿਆਂ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰੇ।

ਗੈਟੋ, ਦੂਜੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਟੋਕਨਾਂ ਨੂੰ ਵੱਖਰੇ ਢੰਗ ਨਾਲ ਨਹੀਂ ਵਰਤਦਾ ਭਾਵੇਂ ਉਹ ਚੈਟ ਵਿੱਚ ਸ਼ਬਦ ਹੋਣ ਜਾਂ ਬਲਾਕ-ਸਟੈਕਿੰਗ ਅਭਿਆਸ ਵਿੱਚ ਅੰਦੋਲਨ ਵੈਕਟਰ। ਇਹ ਸਭ ਇੱਕੋ ਜਿਹਾ ਹੈ। 

deepmind-how-gato-is-trained.png

ਗੈਟੋ ਸਿਖਲਾਈ ਦ੍ਰਿਸ਼.


ਰੀਡ ਐਟ ਅਲ. 2022

ਰੀਡ ਦੇ ਅੰਦਰ ਦੱਬਿਆ ਗਿਆ ਅਤੇ ਟੀਮ ਦੀ ਪਰਿਕਲਪਨਾ ਇੱਕ ਸਿੱਟਾ ਹੈ, ਅਰਥਾਤ ਵੱਧ ਤੋਂ ਵੱਧ ਕੰਪਿਊਟਿੰਗ ਸ਼ਕਤੀ, ਅੰਤ ਵਿੱਚ ਜਿੱਤੇਗੀ। ਇਸ ਸਮੇਂ, ਗੈਟੋ ਇੱਕ ਸਾਇਰ ਰੋਬੋਟ ਆਰਮ ਦੇ ਜਵਾਬ ਸਮੇਂ ਦੁਆਰਾ ਸੀਮਿਤ ਹੈ ਜੋ ਬਲਾਕ ਸਟੈਕਿੰਗ ਕਰਦਾ ਹੈ। 1.18 ਬਿਲੀਅਨ ਨੈੱਟਵਰਕ ਪੈਰਾਮੀਟਰਾਂ 'ਤੇ, Gato ਬਹੁਤ ਵੱਡੇ AI ਮਾਡਲਾਂ ਜਿਵੇਂ ਕਿ GPT-3 ਨਾਲੋਂ ਬਹੁਤ ਛੋਟਾ ਹੈ। ਜਿਵੇਂ ਕਿ ਡੂੰਘੇ ਸਿੱਖਣ ਦੇ ਮਾਡਲ ਵੱਡੇ ਹੁੰਦੇ ਜਾਂਦੇ ਹਨ, ਅਨੁਮਾਨ ਲਗਾਉਣ ਨਾਲ ਲੇਟੈਂਸੀ ਹੁੰਦੀ ਹੈ ਜੋ ਇੱਕ ਅਸਲ-ਸੰਸਾਰ ਰੋਬੋਟ ਦੀ ਗੈਰ-ਨਿਰਧਾਰਤ ਸੰਸਾਰ ਵਿੱਚ ਅਸਫਲ ਹੋ ਸਕਦੀ ਹੈ। 

ਪਰ, ਰੀਡ ਅਤੇ ਸਹਿਯੋਗੀ ਉਮੀਦ ਕਰਦੇ ਹਨ ਕਿ ਏਆਈ ਹਾਰਡਵੇਅਰ ਪ੍ਰੋਸੈਸਿੰਗ 'ਤੇ ਤੇਜ਼ੀ ਨਾਲ ਵਧਣ ਕਾਰਨ ਇਸ ਸੀਮਾ ਨੂੰ ਪਾਰ ਕਰ ਲਿਆ ਜਾਵੇਗਾ।

"ਅਸੀਂ ਆਪਣੀ ਸਿਖਲਾਈ ਨੂੰ ਮਾਡਲ ਸਕੇਲ ਦੇ ਓਪਰੇਟਿੰਗ ਬਿੰਦੂ 'ਤੇ ਫੋਕਸ ਕਰਦੇ ਹਾਂ ਜੋ ਅਸਲ-ਸੰਸਾਰ ਰੋਬੋਟਾਂ ਦੇ ਅਸਲ-ਸਮੇਂ ਦੇ ਨਿਯੰਤਰਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ, ਮੌਜੂਦਾ ਸਮੇਂ ਵਿੱਚ ਗਾਟੋ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਲਗਭਗ 1.2B ਪੈਰਾਮੀਟਰ ਹਨ," ਉਹਨਾਂ ਨੇ ਲਿਖਿਆ। "ਜਿਵੇਂ ਕਿ ਹਾਰਡਵੇਅਰ ਅਤੇ ਮਾਡਲ ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ ਸੁਧਾਰ ਹੁੰਦਾ ਹੈ, ਇਹ ਓਪਰੇਟਿੰਗ ਪੁਆਇੰਟ ਕੁਦਰਤੀ ਤੌਰ 'ਤੇ ਵਿਹਾਰਕ ਮਾਡਲ ਦੇ ਆਕਾਰ ਨੂੰ ਵਧਾਏਗਾ, ਜਨਰਲਿਸਟ ਮਾਡਲਾਂ ਨੂੰ ਸਕੇਲਿੰਗ ਕਾਨੂੰਨ ਵਕਰ ਨੂੰ ਉੱਚਾ ਚੁੱਕਦਾ ਹੈ।"

ਇਸ ਲਈ, ਗੈਟੋ ਅਸਲ ਵਿੱਚ ਇੱਕ ਮਾਡਲ ਹੈ ਕਿ ਕਿਵੇਂ ਗਣਨਾ ਦਾ ਪੈਮਾਨਾ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦੇ ਵਿਕਾਸ ਦਾ ਮੁੱਖ ਵੈਕਟਰ ਬਣਿਆ ਰਹੇਗਾ, ਆਮ ਮਾਡਲਾਂ ਨੂੰ ਵੱਡਾ ਅਤੇ ਵੱਡਾ ਬਣਾ ਕੇ। ਦੂਜੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਵੱਡਾ ਬਿਹਤਰ ਹੈ। 

deepmind-gets-better-with-scale.png

ਪੈਰਾਮੀਟਰਾਂ ਵਿੱਚ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਦਾ ਆਕਾਰ ਵਧਣ ਨਾਲ ਗੈਟੋ ਬਿਹਤਰ ਹੋ ਜਾਂਦਾ ਹੈ।


ਰੀਡ ਐਟ ਅਲ. 2022

ਅਤੇ ਲੇਖਕਾਂ ਕੋਲ ਇਸ ਦੇ ਕੁਝ ਸਬੂਤ ਹਨ। ਗੈਟੋ ਵਧਦਾ ਜਾਪਦਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਵੱਡਾ ਹੁੰਦਾ ਹੈ। ਉਹ ਮਾਪਦੰਡਾਂ, 79 ਮਿਲੀਅਨ, 364 ਮਿਲੀਅਨ, ਅਤੇ ਮੁੱਖ ਮਾਡਲ, 1.18 ਬਿਲੀਅਨ ਦੇ ਅਨੁਸਾਰ ਮਾਡਲ ਦੇ ਤਿੰਨ ਆਕਾਰਾਂ ਲਈ ਸਾਰੇ ਬੈਂਚਮਾਰਕ ਕਾਰਜਾਂ ਵਿੱਚ ਔਸਤ ਸਕੋਰ ਦੀ ਤੁਲਨਾ ਕਰਦੇ ਹਨ। "ਅਸੀਂ ਦੇਖ ਸਕਦੇ ਹਾਂ ਕਿ ਇੱਕ ਬਰਾਬਰ ਟੋਕਨ ਗਿਣਤੀ ਲਈ, ਵਧੇ ਹੋਏ ਪੈਮਾਨੇ ਦੇ ਨਾਲ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਪ੍ਰਦਰਸ਼ਨ ਸੁਧਾਰ ਹੋਇਆ ਹੈ," ਲੇਖਕ ਲਿਖਦੇ ਹਨ। 

ਇੱਕ ਦਿਲਚਸਪ ਭਵਿੱਖ ਦਾ ਸਵਾਲ ਇਹ ਹੈ ਕਿ ਕੀ ਇੱਕ ਪ੍ਰੋਗਰਾਮ ਜੋ ਇੱਕ ਜਨਰਲਿਸਟ ਹੈ, ਹੋਰ ਕਿਸਮ ਦੇ AI ਪ੍ਰੋਗਰਾਮਾਂ ਨਾਲੋਂ ਵਧੇਰੇ ਖਤਰਨਾਕ ਹੈ। ਲੇਖਕ ਇਸ ਤੱਥ 'ਤੇ ਚਰਚਾ ਕਰਦੇ ਹੋਏ ਪੇਪਰ ਵਿੱਚ ਬਹੁਤ ਸਾਰਾ ਸਮਾਂ ਬਿਤਾਉਂਦੇ ਹਨ ਕਿ ਸੰਭਾਵੀ ਖ਼ਤਰੇ ਅਜੇ ਤੱਕ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸਮਝੇ ਨਹੀਂ ਗਏ ਹਨ।  

ਇੱਕ ਪ੍ਰੋਗਰਾਮ ਦਾ ਵਿਚਾਰ ਜੋ ਕਈ ਕਾਰਜਾਂ ਨੂੰ ਸੰਭਾਲਦਾ ਹੈ, ਆਮ ਵਿਅਕਤੀ ਨੂੰ ਇੱਕ ਕਿਸਮ ਦੀ ਮਨੁੱਖੀ ਅਨੁਕੂਲਤਾ ਦਾ ਸੁਝਾਅ ਦਿੰਦਾ ਹੈ, ਪਰ ਇਹ ਇੱਕ ਖਤਰਨਾਕ ਗਲਤ ਧਾਰਨਾ ਹੋ ਸਕਦੀ ਹੈ। ਰੀਡ ਅਤੇ ਟੀਮ ਲਿਖਦੇ ਹਨ, "ਉਦਾਹਰਣ ਵਜੋਂ, ਸਰੀਰਕ ਰੂਪ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਏਜੰਟ ਨੂੰ ਮਾਨਵ ਰੂਪ ਦੇਣ ਲਈ ਅਗਵਾਈ ਕਰ ਸਕਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਇੱਕ ਖਰਾਬ ਪ੍ਰਣਾਲੀ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਭਰੋਸੇ ਨੂੰ ਗਲਤ ਢੰਗ ਨਾਲ ਲਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਜਾਂ ਮਾੜੇ ਕਲਾਕਾਰਾਂ ਦੁਆਰਾ ਸ਼ੋਸ਼ਣ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ," ਰੀਡ ਅਤੇ ਟੀਮ ਲਿਖਦੇ ਹਨ। 

"ਇਸ ਤੋਂ ਇਲਾਵਾ, ਜਦੋਂ ਕਿ ਕਰਾਸ-ਡੋਮੇਨ ਗਿਆਨ ਟ੍ਰਾਂਸਫਰ ਅਕਸਰ ML ਖੋਜ ਵਿੱਚ ਇੱਕ ਟੀਚਾ ਹੁੰਦਾ ਹੈ, ਇਹ ਅਚਾਨਕ ਅਤੇ ਅਣਚਾਹੇ ਨਤੀਜੇ ਪੈਦਾ ਕਰ ਸਕਦਾ ਹੈ ਜੇਕਰ ਕੁਝ ਵਿਵਹਾਰ (ਜਿਵੇਂ ਕਿ ਆਰਕੇਡ ਗੇਮ ਫਾਈਟਿੰਗ) ਨੂੰ ਗਲਤ ਸੰਦਰਭ ਵਿੱਚ ਤਬਦੀਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ."

ਇਸ ਲਈ, ਉਹ ਲਿਖਦੇ ਹਨ, "ਜਾਣਕਾਰੀ ਦੇ ਤਬਾਦਲੇ ਦੇ ਨੈਤਿਕਤਾ ਅਤੇ ਸੁਰੱਖਿਆ ਦੇ ਵਿਚਾਰਾਂ ਲਈ ਸਾਧਾਰਨਵਾਦੀ ਪ੍ਰਣਾਲੀਆਂ ਦੇ ਅੱਗੇ ਵਧਣ ਦੇ ਨਾਲ ਕਾਫ਼ੀ ਨਵੀਂ ਖੋਜ ਦੀ ਲੋੜ ਹੋ ਸਕਦੀ ਹੈ।"

(ਇੱਕ ਦਿਲਚਸਪ ਸਾਈਡ ਨੋਟ ਦੇ ਤੌਰ 'ਤੇ, ਗੈਟੋ ਪੇਪਰ ਸਾਬਕਾ Google AI ਖੋਜਕਾਰ ਮਾਰਗਰੇਟ ਮਿਸ਼ੇਲ ਅਤੇ ਸਹਿਯੋਗੀਆਂ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੇ ਗਏ ਜੋਖਮ ਦਾ ਵਰਣਨ ਕਰਨ ਲਈ ਇੱਕ ਸਕੀਮ ਨੂੰ ਲਾਗੂ ਕਰਦਾ ਹੈ, ਜਿਸਨੂੰ ਮਾਡਲ ਕਾਰਡ ਕਿਹਾ ਜਾਂਦਾ ਹੈ। ਮਾਡਲ ਕਾਰਡ ਇੱਕ ਸੰਖੇਪ ਸਾਰ ਦਿੰਦੇ ਹਨ ਕਿ ਇੱਕ AI ਪ੍ਰੋਗਰਾਮ ਕੀ ਹੈ, ਇਹ ਕੀ ਕਰਦਾ ਹੈ, ਅਤੇ ਕੀ ਕਾਰਕ ਇਸ ਦੇ ਕੰਮ ਕਰਨ ਦੇ ਤਰੀਕੇ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦੇ ਹਨ। ਮਿਸ਼ੇਲ ਨੇ ਪਿਛਲੇ ਸਾਲ ਲਿਖਿਆ ਸੀ ਕਿ ਉਸ ਨੂੰ ਆਪਣੇ ਸਾਬਕਾ ਸਹਿਯੋਗੀ ਟਿਮਨੀਤ ਗੇਬਰੂ ਦਾ ਸਮਰਥਨ ਕਰਨ ਲਈ ਗੂਗਲ ਤੋਂ ਬਾਹਰ ਕਰ ਦਿੱਤਾ ਗਿਆ ਸੀ, ਜਿਸਦੀ AI ਉੱਤੇ ਨੈਤਿਕ ਚਿੰਤਾਵਾਂ ਨੇ Google ਦੀ AI ਲੀਡਰਸ਼ਿਪ ਨੂੰ ਨੁਕਸਾਨ ਪਹੁੰਚਾਇਆ ਸੀ।)

ਗੈਟੋ ਕਿਸੇ ਵੀ ਤਰ੍ਹਾਂ ਇਸਦੀ ਆਮ ਕਰਨ ਦੀ ਪ੍ਰਵਿਰਤੀ ਵਿੱਚ ਵਿਲੱਖਣ ਨਹੀਂ ਹੈ। ਇਹ ਸਧਾਰਣਕਰਨ ਦੇ ਵਿਆਪਕ ਰੁਝਾਨ ਦਾ ਹਿੱਸਾ ਹੈ, ਅਤੇ ਵੱਡੇ ਮਾਡਲ ਜੋ ਹਾਰਸ ਪਾਵਰ ਦੀਆਂ ਬਾਲਟੀਆਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ। ਦੁਨੀਆ ਨੂੰ ਪਿਛਲੀਆਂ ਗਰਮੀਆਂ ਵਿੱਚ ਇਸ ਦਿਸ਼ਾ ਵਿੱਚ ਗੂਗਲ ਦੇ ਝੁਕਾਅ ਦਾ ਪਹਿਲਾ ਸਵਾਦ ਮਿਲਿਆ, ਗੂਗਲ ਦੇ "ਪਰਸੀਵਰ" ਨਿਊਰਲ ਨੈਟਵਰਕ ਨਾਲ ਜੋ ਚਿੱਤਰਾਂ, ਆਵਾਜ਼ ਅਤੇ LiDAR ਸਥਾਨਿਕ ਕੋਆਰਡੀਨੇਟਸ ਦੇ ਨਾਲ ਟੈਕਸਟ ਟ੍ਰਾਂਸਫਾਰਮਰ ਕਾਰਜਾਂ ਨੂੰ ਜੋੜਦਾ ਹੈ।

ਵੀ: ਗੂਗਲ ਦਾ ਸੁਪਰਮਾਡਲ: ਡੀਪਮਾਈਂਡ ਪਰਸੀਵਰ ਇੱਕ ਏਆਈ ਮਸ਼ੀਨ ਦੇ ਰਸਤੇ 'ਤੇ ਇੱਕ ਕਦਮ ਹੈ ਜੋ ਕਿਸੇ ਵੀ ਚੀਜ਼ ਅਤੇ ਹਰ ਚੀਜ਼ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰ ਸਕਦਾ ਹੈ

ਇਸਦੇ ਸਾਥੀਆਂ ਵਿੱਚ PaLM, ਪਾਥਵੇਜ਼ ਲੈਂਗੂਏਜ ਮਾਡਲ, ਗੂਗਲ ਦੇ ਵਿਗਿਆਨੀਆਂ ਦੁਆਰਾ ਇਸ ਸਾਲ ਪੇਸ਼ ਕੀਤਾ ਗਿਆ, ਇੱਕ 540-ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰ ਮਾਡਲ ਜੋ ਹਜ਼ਾਰਾਂ ਚਿਪਸ ਦੇ ਤਾਲਮੇਲ ਲਈ ਇੱਕ ਨਵੀਂ ਤਕਨਾਲੋਜੀ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਪਾਥਵੇਅਜ਼ ਵਜੋਂ ਜਾਣਿਆ ਜਾਂਦਾ ਹੈ, ਗੂਗਲ 'ਤੇ ਵੀ ਖੋਜ ਕੀਤੀ ਗਈ। ਮੈਟਾ ਦੁਆਰਾ ਜਨਵਰੀ ਵਿੱਚ ਜਾਰੀ ਕੀਤਾ ਗਿਆ ਇੱਕ ਨਿਊਰਲ ਨੈੱਟਵਰਕ, ਜਿਸਨੂੰ "data2vec" ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਚਿੱਤਰ ਡੇਟਾ, ਸਪੀਚ ਆਡੀਓ ਵੇਵਫਾਰਮ, ਅਤੇ ਟੈਕਸਟ ਭਾਸ਼ਾ ਪ੍ਰਸਤੁਤੀਆਂ ਲਈ ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। 

ਗੈਟੋ ਬਾਰੇ ਨਵਾਂ ਕੀ ਹੈ, ਅਜਿਹਾ ਲਗਦਾ ਹੈ, ਗੈਰ-ਰੋਬੋਟਿਕ ਕੰਮਾਂ ਲਈ ਵਰਤੀ ਜਾਂਦੀ AI ਨੂੰ ਲੈਣਾ ਅਤੇ ਇਸਨੂੰ ਰੋਬੋਟਿਕਸ ਖੇਤਰ ਵਿੱਚ ਧੱਕਣ ਦਾ ਇਰਾਦਾ ਹੈ।

ਗੈਟੋ ਦੇ ਸਿਰਜਣਹਾਰ, ਪਾਥਵੇਜ਼ ਦੀਆਂ ਪ੍ਰਾਪਤੀਆਂ ਅਤੇ ਹੋਰ ਸਾਧਾਰਨਵਾਦੀ ਪਹੁੰਚਾਂ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੇ ਹੋਏ, ਏਆਈ ਵਿੱਚ ਅੰਤਮ ਪ੍ਰਾਪਤੀ ਨੂੰ ਦੇਖਦੇ ਹਨ ਜੋ ਕਿਸੇ ਵੀ ਕਿਸਮ ਦੇ ਕੰਮਾਂ ਦੇ ਨਾਲ, ਅਸਲ ਸੰਸਾਰ ਵਿੱਚ ਕੰਮ ਕਰ ਸਕਦੀ ਹੈ। 

"ਭਵਿੱਖ ਦੇ ਕੰਮ ਨੂੰ ਇਸ ਗੱਲ 'ਤੇ ਵਿਚਾਰ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਇਹਨਾਂ ਟੈਕਸਟ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਇੱਕ ਪੂਰੀ ਤਰ੍ਹਾਂ ਜਨਰਲਿਸਟ ਏਜੰਟ ਵਿੱਚ ਕਿਵੇਂ ਜੋੜਿਆ ਜਾਵੇ ਜੋ ਅਸਲ ਸੰਸਾਰ ਵਿੱਚ, ਵਿਭਿੰਨ ਵਾਤਾਵਰਣਾਂ ਅਤੇ ਰੂਪਾਂ ਵਿੱਚ ਅਸਲ ਸਮੇਂ ਵਿੱਚ ਵੀ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ." 

ਤੁਸੀਂ, ਫਿਰ, AI ਦੀ ਸਭ ਤੋਂ ਔਖੀ ਸਮੱਸਿਆ, ਰੋਬੋਟਿਕਸ ਨੂੰ ਹੱਲ ਕਰਨ ਦੇ ਰਸਤੇ 'ਤੇ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਕਦਮ ਵਜੋਂ Gato ਨੂੰ ਸਮਝ ਸਕਦੇ ਹੋ। 



ਸਰੋਤ