f635cebed9
|
||
|---|---|---|
| .. | ||
| lab | ||
| CBoW-PyTorch.ipynb | ||
| CBoW-TF.ipynb | ||
| README.md | ||
README.md
ਭਾਸ਼ਾ ਮਾਡਲਿੰਗ
ਸੈਮੈਂਟਿਕ ਐਮਬੈੱਡਿੰਗਜ਼, ਜਿਵੇਂ ਕਿ Word2Vec ਅਤੇ GloVe, ਅਸਲ ਵਿੱਚ ਭਾਸ਼ਾ ਮਾਡਲਿੰਗ ਵੱਲ ਪਹਿਲਾ ਕਦਮ ਹਨ - ਅਜਿਹੇ ਮਾਡਲ ਬਣਾਉਣਾ ਜੋ ਕਿਸੇ ਤਰ੍ਹਾਂ ਭਾਸ਼ਾ ਦੀ ਕੁਦਰਤ ਨੂੰ ਸਮਝਣ (ਜਾਂ ਪ੍ਰਸਤੁਤ ਕਰਨ) ਦੇ ਯੋਗ ਹੋਣ।
ਪ੍ਰੀ-ਲੈਕਚਰ ਕਵਿਜ਼
ਭਾਸ਼ਾ ਮਾਡਲਿੰਗ ਦੇ ਪਿੱਛੇ ਮੁੱਖ ਵਿਚਾਰ ਇਹ ਹੈ ਕਿ ਉਨ੍ਹਾਂ ਨੂੰ ਬਿਨਾਂ ਲੇਬਲ ਵਾਲੇ ਡਾਟਾਸੈਟਸ 'ਤੇ ਅਨਸੁਪਰਵਾਈਜ਼ਡ ਢੰਗ ਨਾਲ ਟ੍ਰੇਨ ਕੀਤਾ ਜਾਵੇ। ਇਹ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿਉਂਕਿ ਸਾਡੇ ਕੋਲ ਬਿਨਾਂ ਲੇਬਲ ਵਾਲੇ ਪਾਠ ਦਾ ਬਹੁਤ ਵੱਡਾ ਮਾਤਰਾ ਉਪਲਬਧ ਹੈ, ਜਦਕਿ ਲੇਬਲ ਵਾਲੇ ਪਾਠ ਦੀ ਮਾਤਰਾ ਹਮੇਸ਼ਾਂ ਉਸ ਮਿਹਨਤ ਨਾਲ ਸੀਮਿਤ ਰਹੇਗੀ ਜੋ ਅਸੀਂ ਲੇਬਲਿੰਗ 'ਤੇ ਲਗਾ ਸਕਦੇ ਹਾਂ। ਜ਼ਿਆਦਾਤਰ, ਅਸੀਂ ਅਜਿਹੇ ਭਾਸ਼ਾ ਮਾਡਲ ਬਣਾ ਸਕਦੇ ਹਾਂ ਜੋ ਪਾਠ ਵਿੱਚੋਂ ਗੁੰਮ ਸ਼ਬਦਾਂ ਦੀ ਭਵਿੱਖਵਾਣੀ ਕਰ ਸਕਦੇ ਹਨ, ਕਿਉਂਕਿ ਪਾਠ ਵਿੱਚੋਂ ਕਿਸੇ ਵੀ ਰੈਂਡਮ ਸ਼ਬਦ ਨੂੰ ਮਾਸਕ ਕਰਨਾ ਅਤੇ ਇਸਨੂੰ ਟ੍ਰੇਨਿੰਗ ਨਮੂਨੇ ਵਜੋਂ ਵਰਤਣਾ ਆਸਾਨ ਹੈ।
ਐਮਬੈੱਡਿੰਗਜ਼ ਦੀ ਟ੍ਰੇਨਿੰਗ
ਸਾਡੇ ਪਿਛਲੇ ਉਦਾਹਰਣਾਂ ਵਿੱਚ, ਅਸੀਂ ਪਹਿਲਾਂ ਤੋਂ ਟ੍ਰੇਨ ਕੀਤੀਆਂ ਸੈਮੈਂਟਿਕ ਐਮਬੈੱਡਿੰਗਜ਼ ਵਰਤੀਆਂ ਸਨ, ਪਰ ਇਹ ਦੇਖਣਾ ਦਿਲਚਸਪ ਹੈ ਕਿ ਇਹ ਐਮਬੈੱਡਿੰਗਜ਼ ਕਿਵੇਂ ਟ੍ਰੇਨ ਕੀਤੀਆਂ ਜਾ ਸਕਦੀਆਂ ਹਨ। ਕੁਝ ਸੰਭਾਵਿਤ ਵਿਚਾਰ ਹਨ ਜੋ ਵਰਤੇ ਜਾ ਸਕਦੇ ਹਨ:
- ਐਨ-ਗ੍ਰਾਮ ਭਾਸ਼ਾ ਮਾਡਲਿੰਗ, ਜਦੋਂ ਅਸੀਂ ਪਿਛਲੇ ਐਨ ਟੋਕਨਜ਼ ਨੂੰ ਦੇਖ ਕੇ ਇੱਕ ਟੋਕਨ ਦੀ ਭਵਿੱਖਵਾਣੀ ਕਰਦੇ ਹਾਂ (ਐਨ-ਗ੍ਰਾਮ)।
- ਕੰਟਿਨਿਊਅਸ ਬੈਗ-ਆਫ-ਵਰਡਜ਼ (CBoW), ਜਦੋਂ ਅਸੀਂ ਇੱਕ ਟੋਕਨ ਕ੍ਰਮ ਵਿੱਚ ਵਿਚਕਾਰਲੇ ਟੋਕਨ
W_0ਦੀ ਭਵਿੱਖਵਾਣੀ ਕਰਦੇ ਹਾਂW_{-N}, ...,W_N। - ਸਕਿਪ-ਗ੍ਰਾਮ, ਜਿੱਥੇ ਅਸੀਂ ਵਿਚਕਾਰਲੇ ਟੋਕਨ
W_0ਤੋਂ ਪਾਸੇ ਦੇ ਟੋਕਨਜ਼ {W_{-N},\dots, W_{-1}, W_1,\dots, W_N} ਦੀ ਭਵਿੱਖਵਾਣੀ ਕਰਦੇ ਹਾਂ।
ਚਿੱਤਰ ਇਸ ਪੇਪਰ ਤੋਂ
✍️ ਉਦਾਹਰਣ ਨੋਟਬੁੱਕਸ: CBoW ਮਾਡਲ ਦੀ ਟ੍ਰੇਨਿੰਗ
ਹੇਠਾਂ ਦਿੱਤੇ ਨੋਟਬੁੱਕਸ ਵਿੱਚ ਆਪਣੀ ਸਿੱਖਿਆ ਜਾਰੀ ਰੱਖੋ:
ਨਤੀਜਾ
ਪਿਛਲੇ ਪਾਠ ਵਿੱਚ ਅਸੀਂ ਦੇਖਿਆ ਕਿ ਸ਼ਬਦ ਐਮਬੈੱਡਿੰਗਜ਼ ਜਾਦੂ ਵਾਂਗ ਕੰਮ ਕਰਦੀਆਂ ਹਨ! ਹੁਣ ਅਸੀਂ ਜਾਣਦੇ ਹਾਂ ਕਿ ਸ਼ਬਦ ਐਮਬੈੱਡਿੰਗਜ਼ ਦੀ ਟ੍ਰੇਨਿੰਗ ਕਰਨਾ ਬਹੁਤ ਜਟਿਲ ਕੰਮ ਨਹੀਂ ਹੈ, ਅਤੇ ਜੇ ਲੋੜ ਹੋਵੇ ਤਾਂ ਅਸੀਂ ਖਾਸ ਖੇਤਰ ਦੇ ਪਾਠ ਲਈ ਆਪਣੀਆਂ ਐਮਬੈੱਡਿੰਗਜ਼ ਟ੍ਰੇਨ ਕਰ ਸਕਦੇ ਹਾਂ।
ਪੋਸਟ-ਲੈਕਚਰ ਕਵਿਜ਼
ਸਮੀਖਿਆ ਅਤੇ ਖੁਦ ਅਧਿਐਨ
- ਭਾਸ਼ਾ ਮਾਡਲਿੰਗ 'ਤੇ ਅਧਿਕਾਰਕ ਪਾਈਟਾਰਚ ਟਿਊਟੋਰਿਅਲ।
- Word2Vec ਮਾਡਲ ਦੀ ਟ੍ਰੇਨਿੰਗ 'ਤੇ ਅਧਿਕਾਰਕ ਟੈਂਸਰਫਲੋ ਟਿਊਟੋਰਿਅਲ।
- ਕੁਝ ਲਾਈਨਾਂ ਦੇ ਕੋਡ ਵਿੱਚ ਸਭ ਤੋਂ ਆਮ ਵਰਤੀਆਂ ਜਾਣ ਵਾਲੀਆਂ ਐਮਬੈੱਡਿੰਗਜ਼ ਨੂੰ ਟ੍ਰੇਨ ਕਰਨ ਲਈ gensim ਫਰੇਮਵਰਕ ਦੀ ਵਰਤੋਂ ਇਸ ਡੌਕਯੂਮੈਂਟੇਸ਼ਨ ਵਿੱਚ ਵਰਣਿਤ ਹੈ।
🚀 ਅਸਾਈਨਮੈਂਟ: ਸਕਿਪ-ਗ੍ਰਾਮ ਮਾਡਲ ਟ੍ਰੇਨ ਕਰੋ
ਲੈਬ ਵਿੱਚ, ਅਸੀਂ ਤੁਹਾਨੂੰ ਇਸ ਪਾਠ ਦੇ ਕੋਡ ਨੂੰ ਸੋਧਣ ਦੀ ਚੁਣੌਤੀ ਦਿੰਦੇ ਹਾਂ ਤਾਂ ਜੋ CBoW ਦੀ ਬਜਾਏ ਸਕਿਪ-ਗ੍ਰਾਮ ਮਾਡਲ ਟ੍ਰੇਨ ਕੀਤਾ ਜਾ ਸਕੇ। ਵੇਰਵੇ ਪੜ੍ਹੋ
ਅਸਵੀਕਰਤਾ:
ਇਹ ਦਸਤਾਵੇਜ਼ AI ਅਨੁਵਾਦ ਸੇਵਾ Co-op Translator ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਅਨੁਵਾਦ ਕੀਤਾ ਗਿਆ ਹੈ। ਜਦੋਂ ਕਿ ਅਸੀਂ ਸਹੀਅਤ ਲਈ ਯਤਨਸ਼ੀਲ ਹਾਂ, ਕਿਰਪਾ ਕਰਕੇ ਧਿਆਨ ਦਿਓ ਕਿ ਸਵੈਚਾਲਿਤ ਅਨੁਵਾਦਾਂ ਵਿੱਚ ਗਲਤੀਆਂ ਜਾਂ ਅਸੁੱਤੀਆਂ ਹੋ ਸਕਦੀਆਂ ਹਨ। ਮੂਲ ਦਸਤਾਵੇਜ਼ ਨੂੰ ਇਸਦੀ ਮੂਲ ਭਾਸ਼ਾ ਵਿੱਚ ਅਧਿਕਾਰਤ ਸਰੋਤ ਮੰਨਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਮਹੱਤਵਪੂਰਨ ਜਾਣਕਾਰੀ ਲਈ, ਪੇਸ਼ੇਵਰ ਮਨੁੱਖੀ ਅਨੁਵਾਦ ਦੀ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਸ ਅਨੁਵਾਦ ਦੀ ਵਰਤੋਂ ਤੋਂ ਪੈਦਾ ਹੋਣ ਵਾਲੇ ਕਿਸੇ ਵੀ ਗਲਤਫਹਿਮੀ ਜਾਂ ਗਲਤ ਵਿਆਖਿਆ ਲਈ ਅਸੀਂ ਜ਼ਿੰਮੇਵਾਰ ਨਹੀਂ ਹਾਂ।