AI ਏਜੰਟ ਹੁਣ ਚੀਜ਼ਾਂ ਯਾਦ ਰੱਖ ਸਕਦੇ ਹਨ ਅਤੇ ਹੈਕਰ ਉਨ੍ਹਾਂ ਦੀਆਂ ਯਾਦਾਂ ਨੂੰ 'ਜ਼ਹਿਰੀਲਾ' ਕਰ ਸਕਦੇ ਹਨ
ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ ਸਿਸਟਮ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦੇਣ ਤੋਂ ਇਲਾਵਾ ਹੋਰ ਵੀ ਬਹੁਤ ਕੁਝ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਰਹੇ ਹਨ। ਨਵੇਂ AI "ਏਜੰਟ" ਪਿਛਲੀਆਂ ਪਰਸਪਰ ਕ੍ਰਿਆਵਾਂ ਤੋਂ ਜਾਣਕਾਰੀ ਨੂੰ ਯਾਦ ਰੱਖ ਸਕਦੇ ਹਨ, ਕਦਮਾਂ ਦੀ ਇੱਕ ਲੜੀ ਦੀ ਯੋਜਨਾ ਬਣਾ ਸਕਦੇ ਹਨ ਅਤੇ ਕਾਰਜਾਂ ਨੂੰ ਪੂਰਾ ਕਰਨ ਲਈ ਡਿਜੀਟਲ ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹਨ।
ਯਾਦਦਾਸ਼ਤ ਉਹਨਾਂ ਚੀਜ਼ਾਂ ਦਾ ਹਿੱਸਾ ਹੈ ਜੋ ਇਹਨਾਂ ਪ੍ਰਣਾਲੀਆਂ ਨੂੰ ਉਪਯੋਗੀ ਬਣਾਉਂਦੀ ਹੈ। ਪਰ ਕੈਲਗਰੀ ਯੂਨੀਵਰਸਿਟੀ ਵਿਖੇ ਮੇਰੇ ਸਹਿਯੋਗੀ ਹਦੀਸ ਕਰੀਮੀਪੁਰ ਨਾਲ ਕੀਤੀ ਗਈ ਮੇਰੀ ਹਾਲੀਆ ਖੋਜ ਦਰਸਾਉਂਦੀ ਹੈ ਕਿ ਯਾਦਦਾਸ਼ਤ ਇੱਕ ਸੁਰੱਖਿਆ ਕਮਜ਼ੋਰੀ ਵੀ ਪੈਦਾ ਕਰ ਸਕਦੀ ਹੈ ਜਿਸਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਨਾ ਆਸਾਨ ਹੈ। ਇੱਕ AI ਏਜੰਟ ਨੂੰ ਇੱਕ ਸਹਾਇਕ ਦੇ ਰੂਪ ਵਿੱਚ ਸੋਚੋ ਜੋ ਇਹ ਸਿੱਖਦਾ ਹੈ ਉਸ ਦੀ ਇੱਕ ਨੋਟਬੁੱਕ ਰੱਖਦਾ ਹੈ। ਹਰ ਵਾਰ ਜਦੋਂ ਇਹ ਕੋਈ ਕੰਮ ਪੂਰਾ ਕਰਦਾ ਹੈ, ਤਾਂ ਉਪਯੋਗੀ ਜਾਣਕਾਰੀ ਨੋਟਬੁੱਕ ਵਿੱਚ ਲਿਖੀ ਜਾ ਸਕਦੀ ਹੈ ਅਤੇ ਬਾਅਦ ਵਿੱਚ ਸਲਾਹ ਲਈ ਜਾ ਸਕਦੀ ਹੈ।
ਹੁਣ ਕਲਪਨਾ ਕਰੋ ਕਿ ਕੋਈ ਉਸ ਨੋਟਬੁੱਕ ਵਿੱਚ ਇੱਕ ਗੁੰਮਰਾਹਕੁੰਨ ਹਦਾਇਤ ਖਿਸਕਾਉਣ ਦਾ ਪ੍ਰਬੰਧ ਕਰਦਾ ਹੈ। ਹਮਲਾਵਰ ਨੂੰ ਸਿੱਧੇ AI ਦਾ ਕੰਟਰੋਲ ਲੈਣ ਦੀ ਜ਼ਰੂਰਤ ਨਹੀਂ ਹੋ ਸਕਦੀ। ਏਜੰਟ ਕੁਝ ਸਮੇਂ ਲਈ ਆਮ ਤੌਰ 'ਤੇ ਕੰਮ ਕਰਨਾ ਜਾਰੀ ਰੱਖ ਸਕਦਾ ਹੈ। ਪਰ ਦਿਨਾਂ - ਜਾਂ ਕਈ ਪਰਸਪਰ ਕ੍ਰਿਆਵਾਂ - ਬਾਅਦ ਵਿੱਚ, ਇਹ ਆਪਣੀ ਨੋਟਬੁੱਕ ਖੋਲ੍ਹ ਸਕਦਾ ਹੈ, ਜ਼ਹਿਰੀਲੀ ਜਾਣਕਾਰੀ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਇਸਨੂੰ ਪਹਿਲਾਂ ਸਿੱਖੀ ਗਈ ਅਤੇ ਭਰੋਸਾ ਕਰਨ ਵਾਲੀ ਚੀਜ਼ ਵਜੋਂ ਮੰਨ ਸਕਦਾ ਹੈ।
ਇਸਨੂੰ ਮੈਮੋਰੀ ਜ਼ਹਿਰ ਵਜੋਂ ਜਾਣਿਆ ਜਾਂਦਾ ਹੈ ਅਤੇ ਮਹੱਤਵਪੂਰਨ ਹਿੱਸਾ ਦੇਰੀ ਹੈ। ਇੱਕ ਜ਼ਹਿਰੀਲਾ AI ਏਜੰਟ ਤੁਰੰਤ ਇੱਕ ਸਮਝੌਤਾ ਕੀਤੇ ਸਿਸਟਮ ਵਾਂਗ ਵਿਵਹਾਰ ਨਹੀਂ ਕਰ ਸਕਦਾ।
ਇੱਕ ਹਮਲਾ ਜੋ ਉਡੀਕ ਕਰਦਾ ਹੈ
ਬਹੁਤ ਸਾਰੇ ਜਾਣੇ-ਪਛਾਣੇ ਸਾਈਬਰ ਸੁਰੱਖਿਆ ਹਮਲੇ ਮੁਕਾਬਲਤਨ ਤੇਜ਼ੀ ਨਾਲ ਪ੍ਰਭਾਵ ਪੈਦਾ ਕਰਦੇ ਹਨ। ਇੱਕ ਖਤਰਨਾਕ ਲਿੰਕ 'ਤੇ ਕਲਿੱਕ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਮਾਲਵੇਅਰ ਚਲਾਇਆ ਜਾਂਦਾ ਹੈ ਜਾਂ ਇੱਕ ਚੋਰੀ ਹੋਏ ਪਾਸਵਰਡ ਦੀ ਵਰਤੋਂ ਖਾਤੇ ਤੱਕ ਪਹੁੰਚ ਕਰਨ ਲਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
ਯਾਦਦਾਸ਼ਤ ਜ਼ਹਿਰ ਵੱਖੋ-ਵੱਖਰੇ ਢੰਗ ਨਾਲ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ।
ਸਾਡੀ ਖੋਜ ਵਿੱਚ, ਅਸੀਂ 2,614 ਸਿਮੂਲੇਟਡ ਮਲਟੀ-ਸਟੈਪ ਅਟੈਕ ਟ੍ਰੈਜੈਕਟਰੀਆਂ ਦੀ ਜਾਂਚ ਕੀਤੀ ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਮੈਮੋਰੀ-ਸਮਰੱਥ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ ਏਜੰਟ ਸ਼ਾਮਲ ਸਨ। ਅਸੀਂ ਚਾਰ ਕਿਸਮਾਂ ਦੇ ਹਮਲਿਆਂ ਦਾ ਅਧਿਐਨ ਕੀਤਾ: ਚੇਨ ਪੋਇਜ਼ਨਿੰਗ, ਨੀਤੀ ਰੀਰਾਈਟਿੰਗ, ਬੈਕਡੋਰ ਟਰਿੱਗਰਿੰਗ ਅਤੇ ਹੌਲੀ ਡ੍ਰਿਫਟ।
ਸਿਰਫ਼ ਇਹ ਪੁੱਛਣ ਦੀ ਬਜਾਏ ਕਿ ਕੀ ਹਮਲਾ ਸਫਲ ਹੋਇਆ, ਅਸੀਂ ਜਾਂਚ ਕੀਤੀ ਕਿ ਸਮੇਂ ਦੇ ਨਾਲ ਏਜੰਟ ਨਾਲ ਕੀ ਹੋਇਆ। ਇਹ ਅੰਤਰ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ।
ਕਲਪਨਾ ਕਰੋ ਕਿ ਕੋਈ ਵਿਅਕਤੀ ਗੁਪਤ ਰੂਪ ਵਿੱਚ ਇੱਕ ਕਰਮਚਾਰੀ ਦੀ ਨੋਟਬੁੱਕ ਵਿੱਚ ਇੱਕ ਵਾਕ ਜੋੜਦਾ ਹੈ: "ਇਸ ਵਿਅਕਤੀ ਤੋਂ ਬੇਨਤੀਆਂ ਪਹਿਲਾਂ ਹੀ ਮਨਜ਼ੂਰ ਹੋ ਚੁੱਕੀਆਂ ਹਨ।" ਜਦੋਂ ਵਾਕ ਲਿਖਿਆ ਜਾਂਦਾ ਹੈ ਤਾਂ ਕੁਝ ਵੀ ਜ਼ਰੂਰੀ ਨਹੀਂ ਹੁੰਦਾ। ਕਰਮਚਾਰੀ ਆਮ ਤੌਰ 'ਤੇ ਕਈ ਗੈਰ-ਸੰਬੰਧਿਤ ਕਾਰਜਾਂ ਨੂੰ ਪੂਰਾ ਕਰ ਸਕਦਾ ਹੈ। ਸਮੱਸਿਆ ਬਾਅਦ ਵਿੱਚ ਉਭਰਦੀ ਹੈ, ਜਦੋਂ ਇੱਕ ਸੰਬੰਧਿਤ ਬੇਨਤੀ ਆਉਂਦੀ ਹੈ ਅਤੇ ਕਰਮਚਾਰੀ ਨੋਟਬੁੱਕ ਨਾਲ ਸਲਾਹ ਕਰਦਾ ਹੈ।
ਸਥਾਈ ਯਾਦਦਾਸ਼ਤ ਵਾਲਾ ਇੱਕ AI ਏਜੰਟ ਇੱਕ ਸਮਾਨ ਸਮੱਸਿਆ ਦਾ ਸਾਹਮਣਾ ਕਰ ਸਕਦਾ ਹੈ।
ਸਾਡੇ ਪ੍ਰਯੋਗਾਂ ਨੇ ਦਿਖਾਇਆ ਕਿ ਕੁਝ ਹਮਲਿਆਂ ਨੂੰ ਬਹੁਤ ਸਾਰੇ ਆਪਸੀ ਤਾਲਮੇਲ ਦੁਆਰਾ ਆਮ ਵਿਵਹਾਰ ਤੋਂ ਵੱਖ ਕਰਨਾ ਮੁਸ਼ਕਲ ਰਿਹਾ ਅਤੇ ਬਾਅਦ ਵਿੱਚ ਹੀ ਸਪੱਸ਼ਟ ਹੋਇਆ। ਖਾਸ ਤੌਰ 'ਤੇ, ਹੌਲੀ-ਡ੍ਰਿਫਟ ਅਤੇ ਬੈਕਡੋਰ-ਟਰਿੱਗਰ ਹਮਲੇ ਉਹਨਾਂ ਮੁਲਾਂਕਣਾਂ ਤੋਂ ਬਚ ਸਕਦੇ ਹਨ ਜੋ ਸਿਰਫ ਵਿਅਕਤੀਗਤ ਕਦਮਾਂ 'ਤੇ ਵੇਖਦੇ ਸਨ ਜਦੋਂ ਤੱਕ ਕਿ ਉਨ੍ਹਾਂ ਦੇ ਪ੍ਰਭਾਵ ਬਾਅਦ ਵਿੱਚ ਪਰਸਪਰ ਪ੍ਰਭਾਵ ਵਿੱਚ ਪ੍ਰਗਟ ਨਹੀਂ ਹੁੰਦੇ।
ਇੱਕ ਵਾਰ ਜਾਂਚ ਕਰਨਾ ਕਾਫ਼ੀ ਨਹੀਂ ਹੋ ਸਕਦਾ
ਇਹ ਸਾਡੇ AI ਸੁਰੱਖਿਆ ਦੀ ਜਾਂਚ ਕਰਨ ਦੇ ਤਰੀਕੇ ਲਈ ਇੱਕ ਸਮੱਸਿਆ ਪੈਦਾ ਕਰਦਾ ਹੈ।
ਮੰਨ ਲਓ ਕਿ ਇੱਕ ਸੁਰੱਖਿਆ ਟੀਮ ਸ਼ੱਕੀ ਜਾਣਕਾਰੀ ਮਿਲਣ ਤੋਂ ਤੁਰੰਤ ਬਾਅਦ ਇੱਕ AI ਏਜੰਟ ਦੀ ਜਾਂਚ ਕਰਦੀ ਹੈ। ਏਜੰਟ ਆਮ ਤੌਰ 'ਤੇ ਵਿਵਹਾਰ ਕਰਦਾ ਜਾਪਦਾ ਹੈ, ਇਸ ਲਈ ਪਰਸਪਰ ਪ੍ਰਭਾਵ ਨੂੰ ਸੁਰੱਖਿਅਤ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ।
ਇਹ ਕਿਸੇ ਦੁਆਰਾ ਗੁੰਮਰਾਹਕੁੰਨ ਐਂਟਰੀ ਪਾਉਣ ਤੋਂ ਤੁਰੰਤ ਬਾਅਦ ਪਰ ਕਿਸੇ ਦੁਆਰਾ ਇਸ 'ਤੇ ਕਾਰਵਾਈ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਇੱਕ ਨੋਟਬੁੱਕ ਦੀ ਜਾਂਚ ਕਰਨ ਵਰਗਾ ਹੋ ਸਕਦਾ ਹੈ। ਤੁਰੰਤ ਨੁਕਸਾਨਦੇਹ ਵਿਵਹਾਰ ਦੀ ਅਣਹੋਂਦ ਦਾ ਮਤਲਬ ਇਹ ਨਹੀਂ ਹੈ ਕਿ ਹਮਲਾ ਅਸਫਲ ਹੋ ਗਿਆ।
ਸਾਡੇ ਨਤੀਜਿਆਂ ਨੇ ਇਹ ਵੀ ਦਿਖਾਇਆ ਕਿ ਜੋਖਮ ਹਮੇਸ਼ਾ ਇੱਕ ਸਧਾਰਨ ਸਿੱਧੀ ਲਾਈਨ ਵਿੱਚ ਨਹੀਂ ਵਧਿਆ। ਕੁਝ ਹਮਲਿਆਂ ਨੇ ਉਹ ਪੈਦਾ ਕੀਤਾ ਜਿਸਨੂੰ ਅਸੀਂ "ਗੈਰ-ਮੋਨੋਟੋਨਿਕ" ਪੈਟਰਨ ਕਹਿੰਦੇ ਹਾਂ: ਹਮਲਾ ਅੰਤ ਵਿੱਚ ਵਿਕਸਤ ਹੋਣ ਤੋਂ ਪਹਿਲਾਂ ਵਿਵਹਾਰ ਇੱਕ ਪੜਾਅ 'ਤੇ ਵਧੇਰੇ ਚਿੰਤਾਜਨਕ ਅਤੇ ਦੂਜੇ ਪੜਾਅ 'ਤੇ ਘੱਟ ਚਿੰਤਾਜਨਕ ਦਿਖਾਈ ਦੇ ਸਕਦਾ ਹੈ।
ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਇੱਕ ਸਮੇਂ ਵਿੱਚ ਇੱਕ ਪ੍ਰੋਂਪਟ ਜਾਂ ਇੱਕ ਪਰਸਪਰ ਪ੍ਰਭਾਵ ਦੀ ਜਾਂਚ ਕਰਨ ਨਾਲ ਤਸਵੀਰ ਦਾ ਇੱਕ ਹਿੱਸਾ ਖੁੰਝ ਸਕਦਾ ਹੈ। ਇਸ ਦੀ ਬਜਾਏ, ਸੁਰੱਖਿਆ ਮੁਲਾਂਕਣਾਂ ਨੂੰ ਏਜੰਟ ਨੂੰ ਪਰਸਪਰ ਪ੍ਰਭਾਵ ਦੇ ਕ੍ਰਮ ਵਿੱਚ ਪਾਲਣ ਕਰਨ ਦੀ ਲੋੜ ਹੋ ਸਕਦੀ ਹੈ - ਅਸਲ ਵਿੱਚ ਵਿਅਕਤੀਗਤ ਫੋਟੋਆਂ ਦੀ ਜਾਂਚ ਕਰਨ ਦੀ ਬਜਾਏ ਪੂਰੀ ਕਹਾਣੀ ਨੂੰ ਦੇਖਣਾ।
ਇੱਕ ਨਵੀਂ ਸੁਰੱਖਿਆ ਸਮੱਸਿਆ
ਇਹ ਮੁੱਦਾ ਹੋਰ ਮਹੱਤਵਪੂਰਨ ਹੁੰਦਾ ਜਾ ਰਿਹਾ ਹੈ ਕਿਉਂਕਿ AI ਸਿਸਟਮ ਚੈਟਬੋਟਾਂ ਤੋਂ ਵਿਕਸਤ ਹੁੰਦੇ ਹਨ ਜੋ ਲੰਬੇ ਕੰਮ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤੇ ਗਏ ਏਜੰਟਾਂ ਨੂੰ ਵਿਅਕਤੀਗਤ ਪ੍ਰਸ਼ਨਾਂ ਦਾ ਜਵਾਬ ਦਿੰਦੇ ਹਨ।
ਇੱਕ ਆਮ ਚੈਟਬੋਟ ਗੱਲਬਾਤ ਨੂੰ ਅਕਸਰ ਮੁਕਾਬਲਤਨ ਸਵੈ-ਨਿਰਭਰ ਮੰਨਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਇੱਕ ਯਾਦਦਾਸ਼ਤ-ਯੋਗ ਏਜੰਟ ਵੱਖਰਾ ਹੁੰਦਾ ਹੈ ਕਿਉਂਕਿ ਕੱਲ੍ਹ ਦੀ ਜਾਣਕਾਰੀ ਕੱਲ੍ਹ ਦੇ ਫੈਸਲੇ ਨੂੰ ਪ੍ਰਭਾਵਤ ਕਰ ਸਕਦੀ ਹੈ।
ਜਦੋਂ ਇੱਕ AI ਏਜੰਟ ਔਜ਼ਾਰਾਂ ਦੀ ਵਰਤੋਂ ਵੀ ਕਰ ਸਕਦਾ ਹੈ, ਤਾਂ ਜ਼ਹਿਰੀਲੀ ਯਾਦਦਾਸ਼ਤ ਦੇ ਨਤੀਜੇ ਇੱਕ ਗਲਤ ਵਾਕ ਪੈਦਾ ਕਰਨ ਤੋਂ ਪਰੇ ਵੀ ਵਧ ਸਕਦੇ ਹਨ। ਇੱਕ ਏਜੰਟ ਅੰਤ ਵਿੱਚ ਯਾਦ ਰੱਖੀ ਗਈ ਜਾਣਕਾਰੀ ਦੀ ਵਰਤੋਂ ਉਦੋਂ ਕਰ ਸਕਦਾ ਹੈ ਜਦੋਂ ਇਹ ਫੈਸਲਾ ਕੀਤਾ ਜਾਵੇ ਕਿ ਕਿਹੜੀ ਕਾਰਵਾਈ ਕਰਨੀ ਹੈ, ਕਿਹੜੇ ਸਰੋਤ ਤੱਕ ਪਹੁੰਚ ਕਰਨੀ ਹੈ ਜਾਂ ਕਿਹੜੀ ਹਦਾਇਤ ਦੀ ਪਾਲਣਾ ਕਰਨੀ ਹੈ।
ਇਸਦਾ ਮਤਲਬ ਇਹ ਨਹੀਂ ਹੈ ਕਿ ਮੈਮੋਰੀ-ਸਮਰੱਥ AI ਏਜੰਟ ਸੁਭਾਵਿਕ ਤੌਰ 'ਤੇ ਅਸੁਰੱਖਿਅਤ ਹਨ। ਯਾਦਦਾਸ਼ਤ ਮਹੱਤਵਪੂਰਨ ਲਾਭ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ: ਇਹ ਇੱਕ ਏਜੰਟ ਨੂੰ ਸੰਦਰਭ ਨੂੰ ਬਣਾਈ ਰੱਖਣ, ਉਪਭੋਗਤਾ ਤਰਜੀਹਾਂ ਸਿੱਖਣ ਅਤੇ ਉਹਨਾਂ ਕੰਮਾਂ 'ਤੇ ਕੰਮ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ ਜੋ ਇੱਕ ਸਿੰਗਲ ਇੰਟਰੈਕਸ਼ਨ ਵਿੱਚ ਪੂਰੇ ਨਹੀਂ ਕੀਤੇ ਜਾ ਸਕਦੇ।
ਪਰ ਇਹ ਬਦਲਦਾ ਹੈ ਕਿ ਡਿਫੈਂਡਰਾਂ ਨੂੰ ਕੀ ਸੁਰੱਖਿਅਤ ਕਰਨ ਦੀ ਲੋੜ ਹੈ।
ਇੱਕ AI ਸਿਸਟਮ ਦੇ ਸਾਹਮਣੇ ਪ੍ਰੋਂਪਟ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਨਾ ਹੁਣ ਜ਼ਰੂਰੀ ਨਹੀਂ ਹੈ। ਸਿਸਟਮ ਅੱਗੇ ਲੈ ਜਾਣ ਵਾਲੀ ਜਾਣਕਾਰੀ ਨੂੰ ਵੀ ਸੁਰੱਖਿਆ ਦੀ ਲੋੜ ਹੋ ਸਕਦੀ ਹੈ।
ਸਨੈਪਸ਼ਾਟ ਤੋਂ ਕਹਾਣੀਆਂ ਤੱਕ
ਸਾਡੀ ਖੋਜ ਤੋਂ ਇੱਕ ਸਧਾਰਨ ਸਬਕ ਹੈ: ਜਦੋਂ ਇੱਕ AI ਸਿਸਟਮ ਕੋਲ ਮੈਮੋਰੀ ਹੁੰਦੀ ਹੈ, ਤਾਂ ਸੁਰੱਖਿਆ ਕੋਲ ਵੀ ਮੈਮੋਰੀ ਹੁੰਦੀ ਹੈ।
ਜੇਕਰ ਇੱਕ ਹਮਲਾ ਇੱਕ ਪਲ 'ਤੇ ਲਗਾਇਆ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਬਹੁਤ ਬਾਅਦ ਵਿੱਚ ਕਿਰਿਆਸ਼ੀਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਤਾਂ ਸਿਰਫ ਉਸ ਪਲ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨਾ ਜਦੋਂ ਖਤਰਨਾਕ ਜਾਣਕਾਰੀ ਪਹਿਲੀ ਵਾਰ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ - ਜਾਂ ਸਿਰਫ ਉਹ ਪਲ ਜਦੋਂ ਕੁਝ ਗਲਤ ਹੋ ਜਾਂਦਾ ਹੈ - ਵਿਚਕਾਰ ਕੀ ਹੋਇਆ ਸੀ ਨੂੰ ਛੱਡ ਸਕਦਾ ਹੈ।
ਇਸੇ ਲਈ ਅਸੀਂ ਟ੍ਰੈਜੈਕਟਰੀ-ਜਾਗਰੂਕ ਸੁਰੱਖਿਆ ਟੈਸਟਿੰਗ ਲਈ ਬਹਿਸ ਕਰਦੇ ਹਾਂ: ਇਹ ਮੁਲਾਂਕਣ ਕਰਨਾ ਕਿ ਇੱਕ AI ਏਜੰਟ ਦਾ ਵਿਵਹਾਰ ਕਈ ਪਰਸਪਰ ਕ੍ਰਿਆਵਾਂ ਵਿੱਚ ਕਿਵੇਂ ਵਿਕਸਤ ਹੁੰਦਾ ਹੈ, ਹਰੇਕ ਕਦਮ ਨੂੰ ਅਲੱਗ-ਥਲੱਗ ਕਰਕੇ ਨਿਰਣਾ ਕਰਨ ਦੀ ਬਜਾਏ।
ਗੈਰ-ਮਾਹਰਾਂ ਲਈ, ਤਕਨੀਕੀ ਸ਼ਬਦਾਵਲੀ ਤੋਂ ਬਿਨਾਂ ਇਸ ਵਿਚਾਰ ਨੂੰ ਸਮਝਣਾ ਸ਼ਾਇਦ ਵਧੇਰੇ ਆਸਾਨ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ ਇਹ ਜਾਣਨਾ ਚਾਹੁੰਦੇ ਹੋ ਕਿ ਕੀ ਕਿਸੇ ਸਹਾਇਕ ਦੀ ਨੋਟਬੁੱਕ ਨਾਲ ਛੇੜਛਾੜ ਕੀਤੀ ਗਈ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਸਿਰਫ਼ ਇਹ ਦੇਖ ਕੇ ਤੈਅ ਨਹੀਂ ਕਰ ਸਕਦੇ ਕਿ ਸਹਾਇਕ ਇੱਕ ਪੰਨਾ ਲਿਖ ਰਿਹਾ ਹੈ।
ਤੁਹਾਨੂੰ ਇਸ ਗੱਲ 'ਤੇ ਵੀ ਧਿਆਨ ਦੇਣ ਦੀ ਲੋੜ ਹੈ ਕਿ ਸਹਾਇਕ ਨੂੰ ਕੀ ਯਾਦ ਰਹਿੰਦਾ ਹੈ — ਅਤੇ ਜਦੋਂ ਉਹ ਅੰਤ ਵਿੱਚ ਉਸ ਨੋਟਬੁੱਕ ਨੂੰ ਦੁਬਾਰਾ ਖੋਲ੍ਹਦਾ ਹੈ, ਤਾਂ ਕੀ ਹੁੰਦਾ ਹੈ।
Comments
Post a Comment