ਮੈਟਾ ਦੇ ਏਆਈ ਗੁਰੂ ਲੇਕਨ: ਅੱਜ ਦੇ ਜ਼ਿਆਦਾਤਰ ਏਆਈ ਪਹੁੰਚ ਕਦੇ ਵੀ ਸੱਚੀ ਬੁੱਧੀ ਵੱਲ ਅਗਵਾਈ ਨਹੀਂ ਕਰਨਗੇ

ZDNet: ਅਸੀਂ ਜ਼ਿਆਦਾਤਰ ਨਿਵੇਸ਼ਕਾਂ ਦੇ ਨਿਵੇਸ਼ ਦੀ ਦੂਰੀ ਤੋਂ ਪਰੇ ਕਹਿੰਦੇ ਹਾਂ।

YL: ਇਹ ਠੀਕ ਹੈ. ਇਸ ਲਈ, ਸਵਾਲ ਇਹ ਹੈ ਕਿ, ਪ੍ਰਦਰਸ਼ਨ ਲੋੜੀਂਦੇ ਪੱਧਰ 'ਤੇ ਪਹੁੰਚਣ ਤੋਂ ਪਹਿਲਾਂ ਕੀ ਲੋਕ ਧੀਰਜ ਗੁਆ ਦੇਣਗੇ ਜਾਂ ਪੈਸਾ ਖਤਮ ਹੋ ਜਾਵੇਗਾ.

ZDNet: ਕੀ ਇਸ ਬਾਰੇ ਕਹਿਣਾ ਦਿਲਚਸਪ ਹੈ ਕਿ ਤੁਸੀਂ ਮਾਡਲ ਵਿੱਚ ਚੁਣੇ ਗਏ ਕੁਝ ਤੱਤਾਂ ਨੂੰ ਕਿਉਂ ਚੁਣਿਆ ਹੈ? ਕਿਉਂਕਿ ਤੁਸੀਂ ਕੇਨੇਥ ਕ੍ਰੇਕ ਦਾ ਹਵਾਲਾ ਦਿੰਦੇ ਹੋ [1943,ਵਿਆਖਿਆ ਦੀ ਪ੍ਰਕਿਰਤੀ], ਅਤੇ ਤੁਸੀਂ ਬ੍ਰਾਇਸਨ ਅਤੇ ਹੋ [1969 ਦਾ ਹਵਾਲਾ ਦਿੰਦੇ ਹੋ, ਅਨੁਕੂਲ ਕੰਟਰੋਲ ਲਾਗੂ ਕੀਤਾ], ਅਤੇ ਮੈਂ ਇਸ ਬਾਰੇ ਉਤਸੁਕ ਹਾਂ ਕਿ ਤੁਸੀਂ ਇਹਨਾਂ ਪ੍ਰਭਾਵਾਂ ਨਾਲ ਕਿਉਂ ਸ਼ੁਰੂ ਕੀਤਾ, ਜੇ ਤੁਸੀਂ ਖਾਸ ਤੌਰ 'ਤੇ ਵਿਸ਼ਵਾਸ ਕਰਦੇ ਹੋ ਕਿ ਇਹਨਾਂ ਲੋਕਾਂ ਨੇ ਇਸ ਨੂੰ ਉਥੋਂ ਤੱਕ ਪਹੁੰਚਾਇਆ ਸੀ ਜਿੰਨਾ ਉਹਨਾਂ ਨੇ ਕੀਤਾ ਸੀ। ਤੁਸੀਂ ਉੱਥੇ ਕਿਉਂ ਸ਼ੁਰੂ ਕੀਤਾ?

YL: ਖੈਰ, ਮੈਨੂੰ ਨਹੀਂ ਲਗਦਾ, ਯਕੀਨਨ, ਉਨ੍ਹਾਂ ਕੋਲ ਸਾਰੇ ਵੇਰਵੇ ਸਨ। ਇਸ ਲਈ, ਬ੍ਰਾਇਸਨ ਅਤੇ ਹੋ, ਇਹ ਉਹ ਕਿਤਾਬ ਹੈ ਜੋ ਮੈਂ 1987 ਵਿੱਚ ਪੜ੍ਹੀ ਸੀ ਜਦੋਂ ਮੈਂ ਟੋਰਾਂਟੋ ਵਿੱਚ ਜੈਫਰੀ ਹਿੰਟਨ ਨਾਲ ਇੱਕ ਪੋਸਟਡੌਕ ਸੀ। ਪਰ ਮੈਨੂੰ ਕੰਮ ਦੀ ਇਸ ਲਾਈਨ ਬਾਰੇ ਪਹਿਲਾਂ ਹੀ ਪਤਾ ਸੀ ਜਦੋਂ ਮੈਂ ਆਪਣੀ ਪੀਐਚਡੀ ਲਿਖ ਰਿਹਾ ਸੀ, ਅਤੇ ਜ਼ਰੂਰੀ ਤੌਰ 'ਤੇ ਅਨੁਕੂਲ ਨਿਯੰਤਰਣ ਅਤੇ ਬੈਕਪ੍ਰੌਪ ਵਿਚਕਾਰ ਸਬੰਧ ਬਣਾਇਆ। ਜੇ ਤੁਸੀਂ ਸੱਚਮੁੱਚ ਬਣਨਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਜਾਣਦੇ ਹੋ, ਇੱਕ ਹੋਰ ਸ਼ਮਿਡਹਬਰ, ਤੁਸੀਂ ਕਹੋਗੇ ਕਿ ਬੈਕਪ੍ਰੌਪ ਦੇ ਅਸਲ ਖੋਜੀ ਅਸਲ ਵਿੱਚ ਅਨੁਕੂਲ ਨਿਯੰਤਰਣ ਸਿਧਾਂਤਕਾਰ ਹੈਨਰੀ ਜੇ ਕੇਲੀ, ਆਰਥਰ ਬ੍ਰਾਇਸਨ, ਅਤੇ ਸ਼ਾਇਦ ਲੇਵ ਪੋਂਟ੍ਰੀਗਿਨ ਵੀ ਸਨ, ਜੋ ਅਨੁਕੂਲ ਨਿਯੰਤਰਣ ਦੇ ਇੱਕ ਰੂਸੀ ਸਿਧਾਂਤਕਾਰ ਹਨ। ਦੇਰ '50s ਵਿੱਚ. 

ਇਸ ਲਈ, ਉਹਨਾਂ ਨੇ ਇਸਦਾ ਪਤਾ ਲਗਾਇਆ, ਅਤੇ ਵਾਸਤਵ ਵਿੱਚ, ਤੁਸੀਂ ਅਸਲ ਵਿੱਚ ਇਸ ਦੀ ਜੜ੍ਹ ਦੇਖ ਸਕਦੇ ਹੋ, ਇਸਦੇ ਹੇਠਾਂ ਗਣਿਤ ਹੈ, ਲੈਗਰੇਂਜੀਅਨ ਮਕੈਨਿਕਸ ਹੈ। ਇਸ ਲਈ ਤੁਸੀਂ ਅਸਲ ਵਿੱਚ, ਯੂਲਰ ਅਤੇ ਲੈਗਰੇਂਜ 'ਤੇ ਵਾਪਸ ਜਾ ਸਕਦੇ ਹੋ, ਅਤੇ ਅਸਲ ਵਿੱਚ, ਲੈਗਰੇਂਜੀਅਨ ਕਲਾਸੀਕਲ ਮਕੈਨਿਕਸ ਦੀ ਉਹਨਾਂ ਦੀ ਪਰਿਭਾਸ਼ਾ ਵਿੱਚ ਇਸ ਦੀ ਇੱਕ ਝਲਕ ਲੱਭ ਸਕਦੇ ਹੋ। ਇਸ ਲਈ, ਅਨੁਕੂਲ ਨਿਯੰਤਰਣ ਦੇ ਸੰਦਰਭ ਵਿੱਚ, ਇਹਨਾਂ ਲੋਕਾਂ ਦੀ ਦਿਲਚਸਪੀ ਅਸਲ ਵਿੱਚ ਰਾਕੇਟ ਟ੍ਰੈਜੈਕਟਰੀ ਦੀ ਗਣਨਾ ਕਰਨਾ ਸੀ। ਤੁਸੀਂ ਜਾਣਦੇ ਹੋ, ਇਹ ਸ਼ੁਰੂਆਤੀ ਪੁਲਾੜ ਯੁੱਗ ਸੀ। ਅਤੇ ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ ਰਾਕੇਟ ਦਾ ਮਾਡਲ ਹੈ, ਤਾਂ ਇਹ ਤੁਹਾਨੂੰ ਦੱਸਦਾ ਹੈ ਕਿ ਇੱਥੇ ਸਮੇਂ 'ਤੇ ਰਾਕੇਟ ਦੀ ਸਥਿਤੀ ਹੈ t, ਅਤੇ ਇੱਥੇ ਉਹ ਕਾਰਵਾਈ ਹੈ ਜੋ ਮੈਂ ਕਰਨ ਜਾ ਰਿਹਾ ਹਾਂ, ਇਸ ਲਈ, ਵੱਖ-ਵੱਖ ਕਿਸਮਾਂ ਦੇ ਥ੍ਰਸਟ ਅਤੇ ਐਕਟੁਏਟਰ, ਇੱਥੇ ਸਮੇਂ ਸਮੇਂ ਰਾਕੇਟ ਦੀ ਸਥਿਤੀ ਹੈ ਟੀ + 1.

ZDNet: ਇੱਕ ਸਟੇਟ-ਐਕਸ਼ਨ ਮਾਡਲ, ਇੱਕ ਮੁੱਲ ਮਾਡਲ।

YL: ਇਹ ਸਹੀ ਹੈ, ਨਿਯੰਤਰਣ ਦਾ ਆਧਾਰ. ਇਸ ਲਈ, ਹੁਣ ਤੁਸੀਂ ਕਮਾਂਡਾਂ ਦੇ ਕ੍ਰਮ ਦੀ ਕਲਪਨਾ ਕਰਕੇ ਆਪਣੇ ਰਾਕੇਟ ਦੀ ਸ਼ੂਟਿੰਗ ਦੀ ਨਕਲ ਕਰ ਸਕਦੇ ਹੋ, ਅਤੇ ਫਿਰ ਤੁਹਾਡੇ ਕੋਲ ਕੁਝ ਲਾਗਤ ਫੰਕਸ਼ਨ ਹੈ, ਜੋ ਕਿ ਰਾਕੇਟ ਦੀ ਇਸਦੇ ਟੀਚੇ, ਸਪੇਸ ਸਟੇਸ਼ਨ ਜਾਂ ਜੋ ਵੀ ਹੈ, ਦੀ ਦੂਰੀ ਹੈ। ਅਤੇ ਫਿਰ ਕਿਸੇ ਕਿਸਮ ਦੇ ਗਰੇਡੀਐਂਟ ਡਿਸੈਂਟ ਦੁਆਰਾ, ਤੁਸੀਂ ਇਹ ਪਤਾ ਲਗਾ ਸਕਦੇ ਹੋ, ਮੈਂ ਆਪਣੀ ਕਾਰਵਾਈ ਦੇ ਕ੍ਰਮ ਨੂੰ ਕਿਵੇਂ ਅਪਡੇਟ ਕਰ ਸਕਦਾ ਹਾਂ ਤਾਂ ਜੋ ਮੇਰਾ ਰਾਕੇਟ ਅਸਲ ਵਿੱਚ ਟੀਚੇ ਦੇ ਜਿੰਨਾ ਸੰਭਵ ਹੋ ਸਕੇ ਨੇੜੇ ਆ ਜਾਵੇ। ਅਤੇ ਇਹ ਸਮੇਂ ਦੇ ਨਾਲ ਪਿੱਛੇ ਵੱਲ ਬੈਕ-ਪ੍ਰਸਾਰਿਤ ਸੰਕੇਤਾਂ ਦੁਆਰਾ ਆਉਣਾ ਹੈ. ਅਤੇ ਇਹ ਹੈ ਬੈਕ-ਪ੍ਰਸਾਰ, ਗਰੇਡੀਐਂਟ ਬੈਕ-ਪ੍ਰਸਾਰ। ਉਹ ਸਿਗਨਲ, ਉਹਨਾਂ ਨੂੰ ਲੈਗਰੇਂਜੀਅਨ ਮਕੈਨਿਕਸ ਵਿੱਚ ਸੰਯੁਕਤ ਵੇਰੀਏਬਲ ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਪਰ ਅਸਲ ਵਿੱਚ, ਉਹ ਗਰੇਡੀਐਂਟ ਹਨ। ਇਸ ਲਈ, ਉਹਨਾਂ ਨੇ ਬੈਕਪ੍ਰੌਪ ਦੀ ਕਾਢ ਕੱਢੀ, ਪਰ ਉਹਨਾਂ ਨੂੰ ਇਹ ਅਹਿਸਾਸ ਨਹੀਂ ਹੋਇਆ ਕਿ ਇਹ ਸਿਧਾਂਤ ਇੱਕ ਬਹੁ-ਪੜਾਵੀ ਪ੍ਰਣਾਲੀ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ ਜੋ ਪੈਟਰਨ ਪਛਾਣ ਜਾਂ ਇਸ ਤਰ੍ਹਾਂ ਦਾ ਕੁਝ ਕਰ ਸਕਦਾ ਹੈ। ਇਹ ਅਸਲ ਵਿੱਚ ਸ਼ਾਇਦ 70 ਦੇ ਦਹਾਕੇ ਦੇ ਅਖੀਰ ਤੱਕ, 80 ਦੇ ਦਹਾਕੇ ਦੇ ਸ਼ੁਰੂ ਤੱਕ ਮਹਿਸੂਸ ਨਹੀਂ ਕੀਤਾ ਗਿਆ ਸੀ, ਅਤੇ ਫਿਰ ਅਸਲ ਵਿੱਚ ਲਾਗੂ ਨਹੀਂ ਕੀਤਾ ਗਿਆ ਸੀ ਅਤੇ 80 ਦੇ ਦਹਾਕੇ ਦੇ ਅੱਧ ਤੱਕ ਕੰਮ ਕਰਨ ਲਈ ਬਣਾਇਆ ਗਿਆ ਸੀ। ਠੀਕ ਹੈ, ਇਸ ਲਈ, ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਬੈਕਪ੍ਰੌਪ ਅਸਲ ਵਿੱਚ, ਕਿਸਮ ਦਾ, ਸ਼ੁਰੂ ਹੋਇਆ ਕਿਉਂਕਿ ਲੋਕਾਂ ਨੇ ਦਿਖਾਇਆ ਕਿ ਇੱਥੇ ਕੋਡ ਦੀਆਂ ਕੁਝ ਲਾਈਨਾਂ ਹਨ ਜੋ ਤੁਸੀਂ ਇੱਕ ਨਿਊਰਲ ਨੈੱਟ, ਅੰਤ ਤੋਂ ਅੰਤ ਤੱਕ, ਮਲਟੀਲੇਅਰ ਨੂੰ ਸਿਖਲਾਈ ਦੇ ਸਕਦੇ ਹੋ। ਅਤੇ ਇਹ ਪਰਸੇਪਟ੍ਰੋਨ ਦੀਆਂ ਸੀਮਾਵਾਂ ਨੂੰ ਦੂਰ ਕਰਦਾ ਹੈ। ਅਤੇ, ਹਾਂ, ਅਨੁਕੂਲ ਨਿਯੰਤਰਣ ਦੇ ਨਾਲ ਕੁਨੈਕਸ਼ਨ ਹਨ, ਪਰ ਇਹ ਠੀਕ ਹੈ।

ZDNet: ਇਸ ਲਈ, ਇਹ ਕਹਿਣ ਦਾ ਇੱਕ ਲੰਮਾ ਤਰੀਕਾ ਹੈ ਕਿ ਇਹ ਪ੍ਰਭਾਵ ਜੋ ਤੁਸੀਂ ਸ਼ੁਰੂ ਕੀਤੇ ਸਨ ਉਹ ਬੈਕਪ੍ਰੌਪ ਤੇ ਵਾਪਸ ਜਾ ਰਹੇ ਸਨ, ਅਤੇ ਇਹ ਤੁਹਾਡੇ ਲਈ ਸ਼ੁਰੂਆਤੀ ਬਿੰਦੂ ਵਜੋਂ ਮਹੱਤਵਪੂਰਨ ਸੀ?

YL: ਹਾਂ, ਪਰ ਮੈਂ ਸੋਚਦਾ ਹਾਂ ਕਿ ਲੋਕ ਜਿਸ ਬਾਰੇ ਥੋੜਾ ਜਿਹਾ ਭੁੱਲ ਗਏ ਸਨ, ਇਸ 'ਤੇ ਕਾਫ਼ੀ ਕੰਮ ਸੀ, ਤੁਸੀਂ ਜਾਣਦੇ ਹੋ, 90 ਦੇ ਦਹਾਕੇ ਵਿੱਚ, ਜਾਂ ਇੱਥੋਂ ਤੱਕ ਕਿ 80 ਦੇ ਦਹਾਕੇ ਵਿੱਚ, ਮਾਈਕਲ ਜੌਰਡਨ [MIT ਡਿਪਾਰਟਮੈਂਟ ਆਫ਼ ਬ੍ਰੇਨ' ਵਰਗੇ ਲੋਕਾਂ ਦੁਆਰਾ ਵੀ ਸ਼ਾਮਲ ਹੈ। ਅਤੇ ਬੋਧਾਤਮਕ ਵਿਗਿਆਨ] ਅਤੇ ਇਸ ਤਰ੍ਹਾਂ ਦੇ ਲੋਕ ਜੋ ਹੁਣ ਨਿਊਰਲ ਨੈੱਟ ਨਹੀਂ ਕਰ ਰਹੇ ਹਨ, ਪਰ ਇਹ ਵਿਚਾਰ ਕਿ ਤੁਸੀਂ ਨਿਯੰਤਰਣ ਲਈ ਨਿਊਰਲ ਜਾਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ, ਅਤੇ ਤੁਸੀਂ ਅਨੁਕੂਲ ਨਿਯੰਤਰਣ ਦੇ ਕਲਾਸੀਕਲ ਵਿਚਾਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ। ਇਸ ਲਈ, ਜਿਸ ਨੂੰ ਮਾਡਲ-ਅਨੁਮਾਨੀ ਨਿਯੰਤਰਣ ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਨੂੰ ਹੁਣ ਮਾਡਲ-ਅਨੁਮਾਨੀ ਨਿਯੰਤਰਣ ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਇਹ ਵਿਚਾਰ ਜਿਸ ਨੂੰ ਤੁਸੀਂ ਕਿਰਿਆਵਾਂ ਦੇ ਕ੍ਰਮ ਦੇ ਨਤੀਜੇ ਦੀ ਨਕਲ ਜਾਂ ਕਲਪਨਾ ਕਰ ਸਕਦੇ ਹੋ ਜੇ ਤੁਹਾਡੇ ਕੋਲ ਸਿਸਟਮ ਦਾ ਇੱਕ ਚੰਗਾ ਮਾਡਲ ਹੈ ਜਿਸ ਨੂੰ ਤੁਸੀਂ ਨਿਯੰਤਰਣ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਹੇ ਹੋ। ਅਤੇ ਵਾਤਾਵਰਣ ਜਿਸ ਵਿੱਚ ਇਹ ਹੈ। ਅਤੇ ਫਿਰ ਗਰੇਡੀਐਂਟ ਡਿਸੇਂਟ ਦੁਆਰਾ, ਜ਼ਰੂਰੀ ਤੌਰ 'ਤੇ - ਇਹ ਸਿੱਖਣਾ ਨਹੀਂ ਹੈ, ਇਹ ਅਨੁਮਾਨ ਹੈ - ਤੁਸੀਂ ਇਹ ਪਤਾ ਲਗਾ ਸਕਦੇ ਹੋ ਕਿ ਕਿਰਿਆਵਾਂ ਦਾ ਸਭ ਤੋਂ ਵਧੀਆ ਕ੍ਰਮ ਕੀ ਹੈ ਜੋ ਮੇਰੇ ਉਦੇਸ਼ ਨੂੰ ਘੱਟ ਕਰੇਗਾ। ਇਸ ਲਈ, ਅਨੁਮਾਨ ਲਈ ਇੱਕ ਲੇਟੈਂਟ ਵੇਰੀਏਬਲ ਦੇ ਨਾਲ ਲਾਗਤ ਫੰਕਸ਼ਨ ਦੀ ਵਰਤੋਂ, ਮੇਰੇ ਖਿਆਲ ਵਿੱਚ, ਕੁਝ ਅਜਿਹਾ ਹੈ ਜਿਸ ਬਾਰੇ ਵੱਡੇ ਪੈਮਾਨੇ ਦੇ ਤੰਤੂ ਜਾਲਾਂ ਦੀਆਂ ਮੌਜੂਦਾ ਫਸਲਾਂ ਭੁੱਲ ਗਈਆਂ ਹਨ। ਪਰ ਇਹ ਲੰਬੇ ਸਮੇਂ ਤੋਂ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦਾ ਇੱਕ ਬਹੁਤ ਹੀ ਕਲਾਸੀਕਲ ਹਿੱਸਾ ਸੀ। ਇਸ ਲਈ, ਹਰ ਬਾਏਸੀਅਨ ਨੈੱਟ ਜਾਂ ਗ੍ਰਾਫਿਕਲ ਮਾਡਲ ਜਾਂ ਸੰਭਾਵੀ ਗ੍ਰਾਫਿਕਲ ਮਾਡਲ ਇਸ ਕਿਸਮ ਦੇ ਅਨੁਮਾਨ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਤੁਹਾਡੇ ਕੋਲ ਇੱਕ ਮਾਡਲ ਹੈ ਜੋ ਵੇਰੀਏਬਲਾਂ ਦੇ ਇੱਕ ਸਮੂਹ ਵਿੱਚ ਨਿਰਭਰਤਾ ਨੂੰ ਕੈਪਚਰ ਕਰਦਾ ਹੈ, ਤੁਹਾਨੂੰ ਕੁਝ ਵੇਰੀਏਬਲਾਂ ਦਾ ਮੁੱਲ ਦੱਸਿਆ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਫਿਰ ਤੁਹਾਨੂੰ ਬਾਕੀ ਵੇਰੀਏਬਲਾਂ ਦੇ ਸਭ ਤੋਂ ਵੱਧ ਸੰਭਾਵਿਤ ਮੁੱਲ ਦਾ ਅਨੁਮਾਨ ਲਗਾਉਣਾ ਪੈਂਦਾ ਹੈ। ਇਹ ਗ੍ਰਾਫਿਕਲ ਮਾਡਲਾਂ ਅਤੇ ਬਾਏਸੀਅਨ ਨੈੱਟ ਵਿੱਚ ਅਨੁਮਾਨ ਦਾ ਮੂਲ ਸਿਧਾਂਤ ਹੈ, ਅਤੇ ਇਸ ਤਰ੍ਹਾਂ ਦੀਆਂ ਚੀਜ਼ਾਂ। ਅਤੇ ਮੈਂ ਸੋਚਦਾ ਹਾਂ ਕਿ ਅਸਲ ਵਿੱਚ ਇਹ ਹੈ ਕਿ ਤਰਕ, ਤਰਕ ਅਤੇ ਯੋਜਨਾਬੰਦੀ ਬਾਰੇ ਕੀ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ.

ZDNet: ਤੁਸੀਂ ਇੱਕ ਅਲਮਾਰੀ ਬਾਏਸੀਅਨ ਹੋ।

YL: ਮੈਂ ਇੱਕ ਗੈਰ-ਸੰਭਾਵਨਾਵਾਦੀ ਬਾਏਸੀਅਨ ਹਾਂ। ਮੈਂ ਪਹਿਲਾਂ ਇਹ ਮਜ਼ਾਕ ਬਣਾਇਆ ਸੀ। ਮੈਂ ਅਸਲ ਵਿੱਚ ਕੁਝ ਸਾਲ ਪਹਿਲਾਂ NeurIPS ਵਿੱਚ ਸੀ, ਮੈਨੂੰ ਲਗਦਾ ਹੈ ਕਿ ਇਹ 2018 ਜਾਂ 2019 ਵਿੱਚ ਸੀ, ਅਤੇ ਮੈਨੂੰ ਇੱਕ ਬਾਏਸੀਅਨ ਦੁਆਰਾ ਵੀਡੀਓ 'ਤੇ ਫੜਿਆ ਗਿਆ ਸੀ ਜਿਸਨੇ ਮੈਨੂੰ ਪੁੱਛਿਆ ਕਿ ਕੀ ਮੈਂ ਇੱਕ ਬਾਏਸੀਅਨ ਹਾਂ, ਅਤੇ ਮੈਂ ਕਿਹਾ, ਹਾਂ, ਮੈਂ ਇੱਕ ਬਾਏਸੀਅਨ ਹਾਂ, ਪਰ ਮੈਂ 'ਮੈਂ ਇੱਕ ਗੈਰ-ਸੰਭਾਵਨਾਵਾਦੀ ਬਾਏਸੀਅਨ, ਕ੍ਰਮ-ਬੱਧ, ਇੱਕ ਊਰਜਾ-ਅਧਾਰਿਤ ਬਾਏਸੀਅਨ, ਜੇਕਰ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ। 

ZDNet: ਜੋ ਕਿ ਨਿਸ਼ਚਤ ਤੌਰ 'ਤੇ ਕੁਝ ਅਜਿਹਾ ਲੱਗਦਾ ਹੈ ਤਾਰਾ ਸਫ਼ਰ. ਤੁਸੀਂ ਇਸ ਪੇਪਰ ਦੇ ਅੰਤ ਵਿੱਚ ਜ਼ਿਕਰ ਕੀਤਾ ਹੈ, ਤੁਸੀਂ ਜੋ ਕਲਪਨਾ ਕਰਦੇ ਹੋ ਉਸ ਨੂੰ ਮਹਿਸੂਸ ਕਰਨ ਲਈ ਕਈ ਸਾਲਾਂ ਦੀ ਸਖ਼ਤ ਮਿਹਨਤ ਕਰਨ ਜਾ ਰਹੀ ਹੈ। ਮੈਨੂੰ ਦੱਸੋ ਕਿ ਇਸ ਸਮੇਂ ਉਸ ਕੰਮ ਵਿੱਚੋਂ ਕੁਝ ਕੀ ਸ਼ਾਮਲ ਹਨ।

YL: ਇਸ ਲਈ, ਮੈਂ ਦੱਸਦਾ ਹਾਂ ਕਿ ਤੁਸੀਂ ਪੇਪਰ ਵਿੱਚ ਜੇਈਪੀਏ ਨੂੰ ਕਿਵੇਂ ਸਿਖਲਾਈ ਅਤੇ ਬਣਾਉਂਦੇ ਹੋ. ਅਤੇ ਜਿਸ ਮਾਪਦੰਡ ਦੀ ਮੈਂ ਵਕਾਲਤ ਕਰ ਰਿਹਾ ਹਾਂ ਉਸ ਵਿੱਚ ਜਾਣਕਾਰੀ ਸਮੱਗਰੀ ਨੂੰ ਵੱਧ ਤੋਂ ਵੱਧ ਕਰਨ ਦਾ ਕੁਝ ਤਰੀਕਾ ਹੈ ਜੋ ਕਿ ਐਕਸਟਰੈਕਟ ਕੀਤੇ ਗਏ ਪ੍ਰਸਤੁਤੀਆਂ ਵਿੱਚ ਇਨਪੁਟ ਬਾਰੇ ਹੈ। ਅਤੇ ਫਿਰ ਦੂਜਾ ਇੱਕ ਭਵਿੱਖਬਾਣੀ ਗਲਤੀ ਨੂੰ ਘੱਟ ਕਰ ਰਿਹਾ ਹੈ. ਅਤੇ ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ ਪੂਰਵ-ਸੂਚਕ ਵਿੱਚ ਇੱਕ ਗੁਪਤ ਵੇਰੀਏਬਲ ਹੈ ਜੋ ਭਵਿੱਖਬਾਣੀ ਨੂੰ ਗੈਰ-ਨਿਰਧਾਰਤ ਹੋਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਤਾਂ ਤੁਹਾਨੂੰ ਇਸ ਦੀ ਜਾਣਕਾਰੀ ਸਮੱਗਰੀ ਨੂੰ ਘਟਾ ਕੇ ਇਸ ਗੁਪਤ ਵੇਰੀਏਬਲ ਨੂੰ ਵੀ ਨਿਯਮਤ ਕਰਨਾ ਹੋਵੇਗਾ। ਇਸ ਲਈ, ਤੁਹਾਡੇ ਕੋਲ ਹੁਣ ਦੋ ਮੁੱਦੇ ਹਨ, ਜੋ ਕਿ ਤੁਸੀਂ ਕੁਝ ਨਿਊਰਲ ਨੈੱਟ ਦੇ ਆਉਟਪੁੱਟ ਦੀ ਜਾਣਕਾਰੀ ਸਮੱਗਰੀ ਨੂੰ ਕਿਵੇਂ ਵੱਧ ਤੋਂ ਵੱਧ ਕਰਦੇ ਹੋ, ਅਤੇ ਦੂਜਾ ਇਹ ਹੈ ਕਿ ਤੁਸੀਂ ਕੁਝ ਲੁਕਵੇਂ ਵੇਰੀਏਬਲ ਦੀ ਜਾਣਕਾਰੀ ਸਮੱਗਰੀ ਨੂੰ ਕਿਵੇਂ ਘੱਟ ਕਰਦੇ ਹੋ? ਅਤੇ ਜੇਕਰ ਤੁਸੀਂ ਉਹ ਦੋ ਚੀਜ਼ਾਂ ਨਹੀਂ ਕਰਦੇ, ਤਾਂ ਸਿਸਟਮ ਢਹਿ ਜਾਵੇਗਾ। ਇਹ ਦਿਲਚਸਪ ਕੁਝ ਨਹੀਂ ਸਿੱਖੇਗਾ. ਇਹ ਹਰ ਚੀਜ਼ ਨੂੰ ਜ਼ੀਰੋ ਊਰਜਾ ਦੇਵੇਗਾ, ਅਜਿਹਾ ਕੁਝ, ਜੋ ਨਿਰਭਰਤਾ ਦਾ ਵਧੀਆ ਮਾਡਲ ਨਹੀਂ ਹੈ। ਇਹ ਢਹਿ-ਰੋਕਥਾਮ ਦੀ ਸਮੱਸਿਆ ਹੈ ਜਿਸਦਾ ਮੈਂ ਜ਼ਿਕਰ ਕਰਦਾ ਹਾਂ. 

ਅਤੇ ਮੈਂ ਉਨ੍ਹਾਂ ਸਾਰੀਆਂ ਚੀਜ਼ਾਂ ਬਾਰੇ ਕਹਿ ਰਿਹਾ ਹਾਂ ਜੋ ਲੋਕਾਂ ਨੇ ਕਦੇ ਵੀ ਕੀਤੀਆਂ ਹਨ, ਢਹਿਣ ਨੂੰ ਰੋਕਣ ਲਈ ਸਿਰਫ ਦੋ ਸ਼੍ਰੇਣੀਆਂ ਦੇ ਤਰੀਕੇ ਹਨ। ਇੱਕ ਵਿਪਰੀਤ ਢੰਗ ਹੈ, ਅਤੇ ਦੂਜਾ ਉਹ ਨਿਯਮਿਤ ਢੰਗ ਹੈ। ਇਸ ਲਈ, ਦੋ ਇਨਪੁਟਸ ਦੀ ਨੁਮਾਇੰਦਗੀ ਦੀ ਜਾਣਕਾਰੀ ਸਮੱਗਰੀ ਨੂੰ ਵੱਧ ਤੋਂ ਵੱਧ ਕਰਨ ਅਤੇ ਗੁਪਤ ਵੇਰੀਏਬਲ ਦੀ ਜਾਣਕਾਰੀ ਸਮੱਗਰੀ ਨੂੰ ਘੱਟ ਕਰਨ ਦਾ ਇਹ ਵਿਚਾਰ, ਜੋ ਕਿ ਨਿਯਮਤ ਤਰੀਕਿਆਂ ਨਾਲ ਸਬੰਧਤ ਹੈ। ਪਰ ਉਹਨਾਂ ਸੰਯੁਕਤ ਏਮਬੈਡਿੰਗ ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ ਕੰਮ ਵਿਪਰੀਤ ਢੰਗਾਂ ਦੀ ਵਰਤੋਂ ਕਰ ਰਹੇ ਹਨ. ਵਾਸਤਵ ਵਿੱਚ, ਉਹ ਸ਼ਾਇਦ ਇਸ ਸਮੇਂ ਸਭ ਤੋਂ ਵੱਧ ਪ੍ਰਸਿੱਧ ਹਨ. ਇਸ ਲਈ, ਸਵਾਲ ਇਹ ਹੈ ਕਿ ਤੁਸੀਂ ਜਾਣਕਾਰੀ ਸਮੱਗਰੀ ਨੂੰ ਇਸ ਤਰੀਕੇ ਨਾਲ ਕਿਵੇਂ ਮਾਪਦੇ ਹੋ ਕਿ ਤੁਸੀਂ ਅਨੁਕੂਲ ਜਾਂ ਘੱਟ ਕਰ ਸਕਦੇ ਹੋ? ਅਤੇ ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਚੀਜ਼ਾਂ ਗੁੰਝਲਦਾਰ ਹੋ ਜਾਂਦੀਆਂ ਹਨ ਕਿਉਂਕਿ ਅਸੀਂ ਅਸਲ ਵਿੱਚ ਨਹੀਂ ਜਾਣਦੇ ਕਿ ਜਾਣਕਾਰੀ ਸਮੱਗਰੀ ਨੂੰ ਕਿਵੇਂ ਮਾਪਣਾ ਹੈ। ਅਸੀਂ ਇਸਦਾ ਅੰਦਾਜ਼ਾ ਲਗਾ ਸਕਦੇ ਹਾਂ, ਅਸੀਂ ਇਸਨੂੰ ਉੱਚਾ ਕਰ ਸਕਦੇ ਹਾਂ, ਅਸੀਂ ਇਸ ਤਰ੍ਹਾਂ ਦੀਆਂ ਚੀਜ਼ਾਂ ਕਰ ਸਕਦੇ ਹਾਂ। ਪਰ ਉਹ ਅਸਲ ਵਿੱਚ ਜਾਣਕਾਰੀ ਸਮੱਗਰੀ ਨੂੰ ਨਹੀਂ ਮਾਪਦੇ, ਜੋ ਅਸਲ ਵਿੱਚ, ਕੁਝ ਹੱਦ ਤੱਕ ਚੰਗੀ ਤਰ੍ਹਾਂ ਪਰਿਭਾਸ਼ਿਤ ਵੀ ਨਹੀਂ ਹੈ।

ZDNet: ਇਹ ਸ਼ੈਨਨ ਦਾ ਕਾਨੂੰਨ ਨਹੀਂ ਹੈ? ਕੀ ਇਹ ਜਾਣਕਾਰੀ ਸਿਧਾਂਤ ਨਹੀਂ ਹੈ? ਤੁਹਾਡੇ ਕੋਲ ਇੱਕ ਨਿਸ਼ਚਿਤ ਮਾਤਰਾ ਵਿੱਚ ਐਂਟਰੌਪੀ, ਚੰਗੀ ਐਂਟਰੌਪੀ ਅਤੇ ਮਾੜੀ ਐਂਟਰੋਪੀ ਹੈ, ਅਤੇ ਚੰਗੀ ਐਂਟਰੌਪੀ ਇੱਕ ਪ੍ਰਤੀਕ ਪ੍ਰਣਾਲੀ ਹੈ ਜੋ ਕੰਮ ਕਰਦੀ ਹੈ, ਮਾੜੀ ਐਂਟਰੋਪੀ ਸ਼ੋਰ ਹੈ। ਕੀ ਇਹ ਸਭ ਸ਼ੈਨਨ ਦੁਆਰਾ ਹੱਲ ਨਹੀਂ ਕੀਤਾ ਗਿਆ ਹੈ?

YL: ਤੁਸੀਂ ਸਹੀ ਹੋ, ਪਰ ਇਸਦੇ ਪਿੱਛੇ ਇੱਕ ਵੱਡੀ ਨੁਕਸ ਹੈ। ਤੁਸੀਂ ਇਸ ਅਰਥ ਵਿੱਚ ਸਹੀ ਹੋ ਕਿ ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ ਡੇਟਾ ਆ ਰਿਹਾ ਹੈ ਅਤੇ ਤੁਸੀਂ ਕਿਸੇ ਤਰ੍ਹਾਂ ਡੇਟਾ ਨੂੰ ਵੱਖਰੇ ਚਿੰਨ੍ਹਾਂ ਵਿੱਚ ਮਾਪ ਸਕਦੇ ਹੋ, ਅਤੇ ਫਿਰ ਤੁਸੀਂ ਉਹਨਾਂ ਪ੍ਰਤੀਕਾਂ ਵਿੱਚੋਂ ਹਰੇਕ ਦੀ ਸੰਭਾਵਨਾ ਨੂੰ ਮਾਪਦੇ ਹੋ, ਤਾਂ ਉਹਨਾਂ ਪ੍ਰਤੀਕਾਂ ਦੁਆਰਾ ਕੀਤੀ ਜਾਣ ਵਾਲੀ ਜਾਣਕਾਰੀ ਦੀ ਵੱਧ ਤੋਂ ਵੱਧ ਮਾਤਰਾ ਹੈ। ਦੇ ਸੰਭਾਵੀ ਚਿੰਨ੍ਹਾਂ ਦਾ ਜੋੜ Pi ਲਾਗ Pi, ਸੱਜਾ? ਜਿੱਥੇ Pi ਪ੍ਰਤੀਕ ਦੀ ਸੰਭਾਵਨਾ ਹੈ ਮੈਂ - ਇਹ ਸ਼ੈਨਨ ਐਂਟਰੌਪੀ ਹੈ। [ਸ਼ੈਨਨ ਦਾ ਕਾਨੂੰਨ ਆਮ ਤੌਰ 'ਤੇ H = – ∑ pi log pi ਦੇ ਰੂਪ ਵਿੱਚ ਤਿਆਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।]

ਇੱਥੇ ਸਮੱਸਿਆ ਹੈ, ਹਾਲਾਂਕਿ: ਕੀ ਹੈ Pi? ਇਹ ਆਸਾਨ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਪ੍ਰਤੀਕਾਂ ਦੀ ਗਿਣਤੀ ਘੱਟ ਹੁੰਦੀ ਹੈ ਅਤੇ ਚਿੰਨ੍ਹ ਸੁਤੰਤਰ ਤੌਰ 'ਤੇ ਬਣਾਏ ਜਾਂਦੇ ਹਨ। ਜਦੋਂ ਬਹੁਤ ਸਾਰੇ ਚਿੰਨ੍ਹ ਅਤੇ ਨਿਰਭਰਤਾ ਹੁੰਦੀ ਹੈ, ਇਹ ਬਹੁਤ ਔਖਾ ਹੁੰਦਾ ਹੈ। ਇਸ ਲਈ, ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ ਬਿੱਟਾਂ ਦਾ ਇੱਕ ਕ੍ਰਮ ਹੈ ਅਤੇ ਤੁਸੀਂ ਮੰਨਦੇ ਹੋ ਕਿ ਬਿੱਟ ਇੱਕ ਦੂਜੇ ਤੋਂ ਸੁਤੰਤਰ ਹਨ ਅਤੇ ਸੰਭਾਵਨਾ ਇੱਕ ਅਤੇ ਜ਼ੀਰੋ ਜਾਂ ਜੋ ਵੀ ਦੇ ਵਿਚਕਾਰ ਬਰਾਬਰ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਆਸਾਨੀ ਨਾਲ ਐਂਟਰੌਪੀ ਨੂੰ ਮਾਪ ਸਕਦੇ ਹੋ, ਕੋਈ ਸਮੱਸਿਆ ਨਹੀਂ ਹੈ। ਪਰ ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ ਆਉਣ ਵਾਲੀਆਂ ਚੀਜ਼ਾਂ ਉੱਚ-ਆਯਾਮੀ ਵੈਕਟਰ ਹਨ, ਜਿਵੇਂ ਕਿ, ਤੁਸੀਂ ਜਾਣਦੇ ਹੋ, ਡੇਟਾ ਫਰੇਮ, ਜਾਂ ਇਸ ਤਰ੍ਹਾਂ ਦੀ ਕੋਈ ਚੀਜ਼, ਕੀ ਹੈ Pi? ਵੰਡ ਕੀ ਹੈ? ਪਹਿਲਾਂ ਤੁਹਾਨੂੰ ਉਸ ਸਪੇਸ ਦੀ ਮਾਤਰਾ ਕਰਨੀ ਪਵੇਗੀ, ਜੋ ਕਿ ਇੱਕ ਉੱਚ-ਅਯਾਮੀ, ਨਿਰੰਤਰ ਸਪੇਸ ਹੈ। ਤੁਹਾਨੂੰ ਇਹ ਨਹੀਂ ਪਤਾ ਕਿ ਇਸ ਨੂੰ ਸਹੀ ਢੰਗ ਨਾਲ ਕਿਵੇਂ ਮਾਪਣਾ ਹੈ। ਤੁਸੀਂ k- ਮਤਲਬ, ਆਦਿ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ। ਇਹ ਉਹ ਹੈ ਜੋ ਲੋਕ ਕਰਦੇ ਹਨ ਜਦੋਂ ਉਹ ਵੀਡੀਓ ਕੰਪਰੈਸ਼ਨ ਅਤੇ ਚਿੱਤਰ ਕੰਪਰੈਸ਼ਨ ਕਰਦੇ ਹਨ। ਪਰ ਇਹ ਸਿਰਫ ਇੱਕ ਅਨੁਮਾਨ ਹੈ. ਅਤੇ ਫਿਰ ਤੁਹਾਨੂੰ ਸੁਤੰਤਰਤਾ ਦੀਆਂ ਧਾਰਨਾਵਾਂ ਬਣਾਉਣੀਆਂ ਪੈਣਗੀਆਂ. ਇਸ ਲਈ, ਇਹ ਸਪੱਸ਼ਟ ਹੈ ਕਿ ਇੱਕ ਵੀਡੀਓ ਵਿੱਚ, ਲਗਾਤਾਰ ਫਰੇਮ ਸੁਤੰਤਰ ਨਹੀਂ ਹਨ। ਇੱਥੇ ਨਿਰਭਰਤਾਵਾਂ ਹਨ, ਅਤੇ ਉਹ ਫਰੇਮ ਕਿਸੇ ਹੋਰ ਫਰੇਮ 'ਤੇ ਨਿਰਭਰ ਹੋ ਸਕਦਾ ਹੈ ਜੋ ਤੁਸੀਂ ਇੱਕ ਘੰਟਾ ਪਹਿਲਾਂ ਦੇਖਿਆ ਸੀ, ਜੋ ਕਿ ਉਸੇ ਚੀਜ਼ ਦੀ ਤਸਵੀਰ ਸੀ। ਇਸ ਲਈ, ਤੁਸੀਂ ਜਾਣਦੇ ਹੋ, ਤੁਸੀਂ ਮਾਪ ਨਹੀਂ ਸਕਦੇ Pi. ਮਾਪਣ ਲਈ Pi, ਤੁਹਾਡੇ ਕੋਲ ਇੱਕ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਪ੍ਰਣਾਲੀ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ ਜੋ ਭਵਿੱਖਬਾਣੀ ਕਰਨਾ ਸਿੱਖਦੀ ਹੈ। ਅਤੇ ਇਸ ਲਈ ਤੁਸੀਂ ਪਿਛਲੀ ਸਮੱਸਿਆ 'ਤੇ ਵਾਪਸ ਆ ਗਏ ਹੋ। ਇਸ ਲਈ, ਤੁਸੀਂ ਸਿਰਫ਼ ਜਾਣਕਾਰੀ ਦੇ ਮਾਪ ਦਾ ਅੰਦਾਜ਼ਾ ਲਗਾ ਸਕਦੇ ਹੋ, ਜ਼ਰੂਰੀ ਤੌਰ 'ਤੇ। 

ਮੈਨੂੰ ਇੱਕ ਹੋਰ ਠੋਸ ਉਦਾਹਰਨ ਲੈਣ ਦਿਓ. ਐਲਗੋਰਿਦਮ ਵਿੱਚੋਂ ਇੱਕ ਜਿਸ ਨਾਲ ਅਸੀਂ ਖੇਡ ਰਹੇ ਹਾਂ, ਅਤੇ ਮੈਂ ਇਸ ਬਾਰੇ ਗੱਲ ਕੀਤੀ ਹੈ, ਕੀ ਇਸ ਚੀਜ਼ ਨੂੰ VICReg ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਵੇਰੀਏਂਸ-ਇਨਵੇਰੀਅਨਸ-ਕੋਵੇਰੀਅੰਸ ਰੈਗੂਲਰਾਈਜ਼ੇਸ਼ਨ। ਇਹ ਇੱਕ ਵੱਖਰੇ ਪੇਪਰ ਵਿੱਚ ਹੈ ਜੋ ICLR ਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਗਿਆ ਸੀ, ਅਤੇ ਇਸ ਨੂੰ arXiv 'ਤੇ ਰੱਖਿਆ ਗਿਆ ਸੀ ਲਗਭਗ ਇੱਕ ਸਾਲ ਪਹਿਲਾਂ, 2021। ਅਤੇ ਇਹ ਵਿਚਾਰ ਜਾਣਕਾਰੀ ਨੂੰ ਵੱਧ ਤੋਂ ਵੱਧ ਕਰਨ ਦਾ ਹੈ। ਅਤੇ ਇਹ ਵਿਚਾਰ ਅਸਲ ਵਿੱਚ ਮੇਰੇ ਸਮੂਹ ਦੁਆਰਾ ਬੁਲਾਏ ਗਏ ਇੱਕ ਪੁਰਾਣੇ ਪੇਪਰ ਵਿੱਚੋਂ ਆਇਆ ਸੀ ਬਾਰਲੋ ਜੁੜਵਾਂ. ਤੁਸੀਂ ਮੂਲ ਰੂਪ ਵਿੱਚ, ਇਹ ਮੰਨਦੇ ਹੋਏ ਕਿ ਵੇਰੀਏਬਲਾਂ ਵਿਚਕਾਰ ਇੱਕਮਾਤਰ ਨਿਰਭਰਤਾ ਸਹਿਸਬੰਧ, ਰੇਖਿਕ ਨਿਰਭਰਤਾ ਹੈ, ਦੁਆਰਾ ਇੱਕ ਵੈਕਟਰ ਦੀ ਜਾਣਕਾਰੀ ਸਮੱਗਰੀ ਨੂੰ ਅਧਿਕਤਮ ਕਰਦੇ ਹੋ। ਇਸ ਲਈ, ਜੇਕਰ ਤੁਸੀਂ ਇਹ ਮੰਨਦੇ ਹੋ ਕਿ ਵੇਰੀਏਬਲਾਂ ਦੇ ਜੋੜਿਆਂ ਦੇ ਵਿਚਕਾਰ, ਜਾਂ ਤੁਹਾਡੇ ਸਿਸਟਮ ਵਿੱਚ ਵੇਰੀਏਬਲਾਂ ਵਿਚਕਾਰ ਇੱਕੋ-ਇੱਕ ਨਿਰਭਰਤਾ ਸੰਭਵ ਹੈ, ਕੀਮਤੀ ਵਸਤੂਆਂ ਦੇ ਜੋੜਿਆਂ ਦੇ ਵਿਚਕਾਰ ਸਬੰਧ ਹੈ, ਜੋ ਕਿ ਬਹੁਤ ਹੀ ਮੋਟਾ ਅਨੁਮਾਨ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਆਪਣੇ ਸਿਸਟਮ ਤੋਂ ਬਾਹਰ ਆਉਣ ਵਾਲੀ ਜਾਣਕਾਰੀ ਸਮੱਗਰੀ ਨੂੰ ਵੱਧ ਤੋਂ ਵੱਧ ਕਰ ਸਕਦੇ ਹੋ। ਇਹ ਯਕੀਨੀ ਬਣਾ ਕੇ ਕਿ ਸਾਰੇ ਵੇਰੀਏਬਲਾਂ ਵਿੱਚ ਗੈਰ-ਜ਼ੀਰੋ ਵੇਰੀਏਂਸ ਹੈ — ਚਲੋ, ਇੱਕ ਵੇਰੀਏਬਲ, ਇਸ ਨਾਲ ਕੋਈ ਫਰਕ ਨਹੀਂ ਪੈਂਦਾ ਕਿ ਇਹ ਕੀ ਹੈ — ਅਤੇ ਫਿਰ ਉਹਨਾਂ ਨੂੰ ਵਾਪਸ-ਸਬੰਧਿਤ ਕਰਨਾ, ਉਹੀ ਪ੍ਰਕਿਰਿਆ ਜਿਸ ਨੂੰ ਵਾਈਟਿੰਗ ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਇਹ ਨਵੀਂ ਵੀ ਨਹੀਂ ਹੈ। ਇਸ ਨਾਲ ਸਮੱਸਿਆ ਇਹ ਹੈ ਕਿ ਤੁਹਾਡੇ ਕੋਲ ਵੇਰੀਏਬਲਾਂ ਦੇ ਸਮੂਹਾਂ ਜਾਂ ਇੱਥੋਂ ਤੱਕ ਕਿ ਵੇਰੀਏਬਲਾਂ ਦੇ ਸਿਰਫ਼ ਜੋੜਿਆਂ ਦੇ ਵਿਚਕਾਰ ਬਹੁਤ ਗੁੰਝਲਦਾਰ ਨਿਰਭਰਤਾ ਹੋ ਸਕਦੀ ਹੈ ਜੋ ਰੇਖਿਕ ਨਿਰਭਰਤਾ ਨਹੀਂ ਹਨ, ਅਤੇ ਉਹ ਸਬੰਧਾਂ ਵਿੱਚ ਦਿਖਾਈ ਨਹੀਂ ਦਿੰਦੇ ਹਨ। ਇਸ ਲਈ, ਉਦਾਹਰਨ ਲਈ, ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ ਦੋ ਵੇਰੀਏਬਲ ਹਨ, ਅਤੇ ਉਹਨਾਂ ਦੋ ਵੇਰੀਏਬਲਾਂ ਦੇ ਸਾਰੇ ਬਿੰਦੂ ਕਿਸੇ ਕਿਸਮ ਦੇ ਸਪਿਰਲ ਵਿੱਚ ਰੇਖਾਬੱਧ ਹੁੰਦੇ ਹਨ, ਤਾਂ ਉਹਨਾਂ ਦੋ ਵੇਰੀਏਬਲਾਂ ਵਿਚਕਾਰ ਬਹੁਤ ਮਜ਼ਬੂਤ ​​ਨਿਰਭਰਤਾ ਹੈ, ਠੀਕ ਹੈ? ਪਰ ਵਾਸਤਵ ਵਿੱਚ, ਜੇਕਰ ਤੁਸੀਂ ਉਹਨਾਂ ਦੋ ਵੇਰੀਏਬਲਾਂ ਵਿਚਕਾਰ ਸਬੰਧਾਂ ਦੀ ਗਣਨਾ ਕਰਦੇ ਹੋ, ਤਾਂ ਉਹ ਆਪਸ ਵਿੱਚ ਸੰਬੰਧਿਤ ਨਹੀਂ ਹਨ। ਇਸ ਲਈ, ਇੱਥੇ ਇੱਕ ਉਦਾਹਰਨ ਹੈ ਜਿੱਥੇ ਇਹਨਾਂ ਦੋ ਵੇਰੀਏਬਲਾਂ ਦੀ ਜਾਣਕਾਰੀ ਸਮੱਗਰੀ ਅਸਲ ਵਿੱਚ ਬਹੁਤ ਛੋਟੀ ਹੈ, ਇਹ ਸਿਰਫ ਇੱਕ ਮਾਤਰਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਸਪਿਰਲ ਵਿੱਚ ਤੁਹਾਡੀ ਸਥਿਤੀ ਹੈ। ਉਹ ਡੀ-ਸਬੰਧਿਤ ਹਨ, ਇਸਲਈ ਤੁਸੀਂ ਸੋਚਦੇ ਹੋ ਕਿ ਤੁਹਾਡੇ ਕੋਲ ਉਹਨਾਂ ਦੋ ਵੇਰੀਏਬਲਾਂ ਵਿੱਚੋਂ ਬਹੁਤ ਸਾਰੀ ਜਾਣਕਾਰੀ ਆ ਰਹੀ ਹੈ ਜਦੋਂ ਅਸਲ ਵਿੱਚ ਤੁਹਾਡੇ ਕੋਲ ਨਹੀਂ ਹੈ, ਤੁਹਾਡੇ ਕੋਲ ਸਿਰਫ ਹੈ, ਤੁਸੀਂ ਜਾਣਦੇ ਹੋ, ਤੁਸੀਂ ਜ਼ਰੂਰੀ ਤੌਰ 'ਤੇ, ਦੂਜੇ ਤੋਂ ਇੱਕ ਵੇਰੀਏਬਲ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰ ਸਕਦੇ ਹੋ। ਇਸ ਲਈ, ਇਹ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਸਾਡੇ ਕੋਲ ਜਾਣਕਾਰੀ ਸਮੱਗਰੀ ਨੂੰ ਮਾਪਣ ਦੇ ਬਹੁਤ ਹੀ ਅੰਦਾਜ਼ਨ ਤਰੀਕੇ ਹਨ।

ZDNet: ਅਤੇ ਇਸ ਲਈ ਇਹ ਉਹਨਾਂ ਚੀਜ਼ਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ ਜਿਸ 'ਤੇ ਤੁਹਾਨੂੰ ਹੁਣ ਇਸ ਨਾਲ ਕੰਮ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ? ਇਹ ਸਭ ਤੋਂ ਵੱਡਾ ਸਵਾਲ ਹੈ ਕਿ ਅਸੀਂ ਕਿਵੇਂ ਜਾਣ ਸਕਦੇ ਹਾਂ ਕਿ ਜਦੋਂ ਅਸੀਂ ਜਾਣਕਾਰੀ ਸਮੱਗਰੀ ਨੂੰ ਵੱਧ ਤੋਂ ਵੱਧ ਅਤੇ ਘੱਟ ਕਰ ਰਹੇ ਹਾਂ?

YL:  ਜਾਂ ਕੀ ਪ੍ਰੌਕਸੀ ਜੋ ਅਸੀਂ ਇਸ ਲਈ ਵਰਤ ਰਹੇ ਹਾਂ ਉਸ ਕੰਮ ਲਈ ਕਾਫ਼ੀ ਚੰਗੀ ਹੈ ਜੋ ਅਸੀਂ ਚਾਹੁੰਦੇ ਹਾਂ। ਵਾਸਤਵ ਵਿੱਚ, ਅਸੀਂ ਇਹ ਹਰ ਸਮੇਂ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਵਿੱਚ ਕਰਦੇ ਹਾਂ। ਲਾਗਤ ਫੰਕਸ਼ਨ ਜੋ ਅਸੀਂ ਘੱਟ ਕਰਦੇ ਹਾਂ ਉਹ ਕਦੇ ਵੀ ਉਹ ਨਹੀਂ ਹੁੰਦੇ ਜਿਨ੍ਹਾਂ ਨੂੰ ਅਸੀਂ ਅਸਲ ਵਿੱਚ ਘੱਟ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਾਂ। ਇਸ ਲਈ, ਉਦਾਹਰਨ ਲਈ, ਤੁਸੀਂ ਵਰਗੀਕਰਨ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ, ਠੀਕ ਹੈ? ਜਦੋਂ ਤੁਸੀਂ ਕਲਾਸੀਫਾਇਰ ਨੂੰ ਸਿਖਲਾਈ ਦਿੰਦੇ ਹੋ ਤਾਂ ਲਾਗਤ ਫੰਕਸ਼ਨ ਜਿਸ ਨੂੰ ਤੁਸੀਂ ਘੱਟ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ ਉਹ ਗਲਤੀਆਂ ਦੀ ਗਿਣਤੀ ਹੈ ਜੋ ਕਲਾਸੀਫਾਇਰ ਕਰ ਰਿਹਾ ਹੈ। ਪਰ ਇਹ ਇੱਕ ਗੈਰ-ਭਿੰਨਤਾਯੋਗ, ਭਿਆਨਕ ਲਾਗਤ ਫੰਕਸ਼ਨ ਹੈ ਜਿਸ ਨੂੰ ਤੁਸੀਂ ਘੱਟ ਨਹੀਂ ਕਰ ਸਕਦੇ ਕਿਉਂਕਿ ਤੁਸੀਂ ਜਾਣਦੇ ਹੋ ਕਿ ਤੁਸੀਂ ਆਪਣੇ ਨਿਊਰਲ ਨੈੱਟ ਦੇ ਵਜ਼ਨ ਨੂੰ ਬਦਲਣ ਜਾ ਰਹੇ ਹੋ, ਕੁਝ ਵੀ ਨਹੀਂ ਬਦਲਣਾ ਹੈ ਜਦੋਂ ਤੱਕ ਇਹਨਾਂ ਵਿੱਚੋਂ ਇੱਕ ਨਮੂਨਾ ਆਪਣਾ ਫੈਸਲਾ ਨਹੀਂ ਬਦਲਦਾ, ਅਤੇ ਫਿਰ ਇੱਕ ਛਾਲ ਗਲਤੀ ਵਿੱਚ, ਸਕਾਰਾਤਮਕ ਜਾਂ ਨਕਾਰਾਤਮਕ।

ZDNet: ਇਸ ਲਈ ਤੁਹਾਡੇ ਕੋਲ ਇੱਕ ਪ੍ਰੌਕਸੀ ਹੈ ਜੋ ਇੱਕ ਉਦੇਸ਼ ਫੰਕਸ਼ਨ ਹੈ ਜੋ ਤੁਸੀਂ ਯਕੀਨੀ ਤੌਰ 'ਤੇ ਕਹਿ ਸਕਦੇ ਹੋ, ਅਸੀਂ ਯਕੀਨੀ ਤੌਰ 'ਤੇ ਇਸ ਚੀਜ਼ ਦੇ ਗਰੇਡੀਐਂਟ ਨੂੰ ਪ੍ਰਵਾਹ ਕਰ ਸਕਦੇ ਹਾਂ।

YL: ਇਹ ਠੀਕ ਹੈ. ਇਸ ਲਈ ਲੋਕ ਇਸ ਕਰਾਸ-ਐਂਟ੍ਰੋਪੀ ਨੁਕਸਾਨ, ਜਾਂ SOFTMAX ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ, ਤੁਹਾਡੇ ਕੋਲ ਇਸਦੇ ਲਈ ਕਈ ਨਾਮ ਹਨ, ਪਰ ਇਹ ਇੱਕੋ ਜਿਹੀ ਗੱਲ ਹੈ। ਅਤੇ ਇਹ ਅਸਲ ਵਿੱਚ ਸਿਸਟਮ ਦੁਆਰਾ ਕੀਤੀਆਂ ਗਈਆਂ ਗਲਤੀਆਂ ਦੀ ਸੰਖਿਆ ਦਾ ਇੱਕ ਨਿਰਵਿਘਨ ਅਨੁਮਾਨ ਹੈ, ਜਿੱਥੇ ਸਮੂਥਿੰਗ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਮੂਲ ਰੂਪ ਵਿੱਚ, ਸਿਸਟਮ ਦੁਆਰਾ ਹਰੇਕ ਸ਼੍ਰੇਣੀ ਨੂੰ ਦਿੱਤੇ ਗਏ ਸਕੋਰ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੇ ਹੋਏ।

ZDNet: ਕੀ ਕੋਈ ਅਜਿਹੀ ਚੀਜ਼ ਹੈ ਜਿਸ ਨੂੰ ਅਸੀਂ ਕਵਰ ਨਹੀਂ ਕੀਤਾ ਹੈ ਜੋ ਤੁਸੀਂ ਕਵਰ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ?

YL: ਇਹ ਸ਼ਾਇਦ ਮੁੱਖ ਨੁਕਤਿਆਂ 'ਤੇ ਜ਼ੋਰ ਦੇ ਰਿਹਾ ਹੈ। ਮੈਨੂੰ ਲਗਦਾ ਹੈ ਕਿ ਏਆਈ ਪ੍ਰਣਾਲੀਆਂ ਨੂੰ ਤਰਕ ਕਰਨ ਦੇ ਯੋਗ ਹੋਣ ਦੀ ਜ਼ਰੂਰਤ ਹੈ, ਅਤੇ ਇਸਦੀ ਪ੍ਰਕਿਰਿਆ ਜਿਸਦੀ ਮੈਂ ਵਕਾਲਤ ਕਰ ਰਿਹਾ ਹਾਂ, ਕੁਝ ਲੁਕਵੇਂ ਵੇਰੀਏਬਲ ਦੇ ਸਬੰਧ ਵਿੱਚ ਕੁਝ ਉਦੇਸ਼ ਨੂੰ ਘੱਟ ਕਰ ਰਿਹਾ ਹੈ। ਇਹ ਸਿਸਟਮਾਂ ਨੂੰ ਯੋਜਨਾ ਬਣਾਉਣ ਅਤੇ ਤਰਕ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਮੈਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਸਾਨੂੰ ਸੰਭਾਵੀ ਢਾਂਚੇ ਨੂੰ ਛੱਡ ਦੇਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਉਦੋਂ ਔਖਾ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਅਸੀਂ ਉੱਚ-ਅਯਾਮੀ, ਨਿਰੰਤਰ ਵੇਰੀਏਬਲਾਂ ਵਿਚਕਾਰ ਨਿਰਭਰਤਾ ਨੂੰ ਕੈਪਚਰ ਕਰਨ ਵਰਗੀਆਂ ਚੀਜ਼ਾਂ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਾਂ। ਅਤੇ ਮੈਂ ਜਨਰੇਟਿਵ ਮਾਡਲਾਂ ਨੂੰ ਛੱਡਣ ਦੀ ਵਕਾਲਤ ਕਰ ਰਿਹਾ ਹਾਂ ਕਿਉਂਕਿ ਸਿਸਟਮ ਨੂੰ ਉਹਨਾਂ ਚੀਜ਼ਾਂ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਲਈ ਬਹੁਤ ਸਾਰੇ ਸਰੋਤ ਸਮਰਪਿਤ ਕਰਨੇ ਪੈਣਗੇ ਜਿਨ੍ਹਾਂ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨਾ ਬਹੁਤ ਮੁਸ਼ਕਲ ਹੈ ਅਤੇ ਹੋ ਸਕਦਾ ਹੈ ਕਿ ਬਹੁਤ ਜ਼ਿਆਦਾ ਸਰੋਤਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾ ਸਕੇ। ਅਤੇ ਇਹ ਹੈ ਜੋ ਪਰੈਟੀ ਬਹੁਤ ਕੁਝ ਇਸ ਨੂੰ ਹੈ. ਜੇਕਰ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ ਤਾਂ ਇਹ ਮੁੱਖ ਸੰਦੇਸ਼ ਹਨ। ਅਤੇ ਫਿਰ ਸਮੁੱਚੀ ਆਰਕੀਟੈਕਚਰ. ਫਿਰ ਚੇਤਨਾ ਦੀ ਪ੍ਰਕਿਰਤੀ ਅਤੇ ਸੰਰਚਨਾਕਾਰ ਦੀ ਭੂਮਿਕਾ ਬਾਰੇ ਉਹ ਅਟਕਲਾਂ ਹਨ, ਪਰ ਇਹ ਅਸਲ ਵਿੱਚ ਅਟਕਲਾਂ ਹਨ।

ZDNet: ਅਸੀਂ ਅਗਲੀ ਵਾਰ ਇਸ 'ਤੇ ਪਹੁੰਚਾਂਗੇ। ਮੈਂ ਤੁਹਾਨੂੰ ਪੁੱਛਣ ਜਾ ਰਿਹਾ ਸੀ, ਤੁਸੀਂ ਇਸ ਚੀਜ਼ ਨੂੰ ਕਿਵੇਂ ਬੈਂਚਮਾਰਕ ਕਰਦੇ ਹੋ? ਪਰ ਮੇਰਾ ਅੰਦਾਜ਼ਾ ਹੈ ਕਿ ਤੁਸੀਂ ਇਸ ਸਮੇਂ ਬੈਂਚਮਾਰਕਿੰਗ ਤੋਂ ਥੋੜਾ ਅੱਗੇ ਹੋ?

YL: ਇਹ ਜ਼ਰੂਰੀ ਨਹੀਂ ਕਿ ਇਸ ਤੋਂ ਦੂਰ, ਕ੍ਰਮ-ਬੱਧ, ਸਰਲ ਰੂਪਾਂ ਵਿੱਚ ਹੋਵੇ। ਤੁਸੀਂ ਉਹ ਕਰ ਸਕਦੇ ਹੋ ਜੋ ਹਰ ਕੋਈ ਨਿਯੰਤਰਣ ਜਾਂ ਰੀਨਫੋਰਸਮੈਂਟ ਸਿੱਖਣ ਵਿੱਚ ਕਰਦਾ ਹੈ, ਜੋ ਕਿ, ਤੁਸੀਂ ਅਟਾਰੀ ਗੇਮਾਂ ਜਾਂ ਇਸ ਤਰ੍ਹਾਂ ਦੀ ਕੋਈ ਚੀਜ਼ ਜਾਂ ਕੋਈ ਹੋਰ ਗੇਮ ਖੇਡਣ ਦੀ ਸਿਖਲਾਈ ਦਿੰਦੇ ਹੋ ਜਿਸ ਵਿੱਚ ਕੁਝ ਅਨਿਸ਼ਚਿਤਤਾ ਹੈ।

ZDNet: ਤੁਹਾਡੇ ਸਮੇਂ ਲਈ ਧੰਨਵਾਦ, ਯੈਨ।