RomanNum3ral
/
AI-For-Beginners
mirror of https://github.com/microsoft/AI-For-Beginners.git
1
0
Fork 0
Code Issues Packages Projects Releases Wiki Activity
AI-For-Beginners/translations/te/lessons/5-NLP/15-LanguageModeling/CBoW-PyTorch.ipynb

576 lines
23 KiB
Plaintext
Raw Blame History

{
"cells": [
{
"cell_type": "markdown",
"metadata": {
"id": "NXTSugt6ieXh"
},
"source": [
"## CBoW మోడల్ శిక్షణ\n",
"\n",
"ఈ నోట్‌బుక్ [AI for Beginners Curriculum](http://aka.ms/ai-beginners) యొక్క భాగం\n",
"\n",
"ఈ ఉదాహరణలో, మనం CBoW భాషా మోడల్‌ను శిక్షణ ఇచ్చి మన స్వంత Word2Vec ఎంబెడ్డింగ్ స్థలాన్ని పొందడం గురించి చూడబోతున్నాము. టెక్స్ట్ మూలంగా AG News డేటాసెట్‌ను ఉపయోగిస్తాము.\n"
]
},
{
"cell_type": "code",
"source": [
"import torch\n",
"import torchtext\n",
"import os\n",
"import collections\n",
"import builtins\n",
"import random\n",
"import numpy as np"
],
"metadata": {
"id": "q-UiiJUKaxHj"
},
"execution_count": null,
"outputs": []
},
{
"cell_type": "code",
"source": [
"device = torch.device(\"cuda\" if torch.cuda.is_available() else \"cpu\")"
],
"metadata": {
"id": "TFbR8CZaTZ1q"
},
"execution_count": null,
"outputs": []
},
{
"cell_type": "markdown",
"source": [
"ముందుగా మన డేటాసెట్‌ను లోడ్ చేసి టోకనైజర్ మరియు శబ్దకోశాన్ని నిర్వచిద్దాం. లెక్కింపులను కొంత పరిమితం చేయడానికి `vocab_size` ను 5000 గా సెట్ చేస్తాము.\n"
],
"metadata": {
"id": "HIwC7lI5T-ov"
}
},
{
"cell_type": "code",
"source": [
"def load_dataset(ngrams = 1, min_freq = 1, vocab_size = 5000 , lines_cnt = 500):\n",
" tokenizer = torchtext.data.utils.get_tokenizer('basic_english')\n",
" print(\"Loading dataset...\")\n",
" test_dataset, train_dataset = torchtext.datasets.AG_NEWS(root='./data')\n",
" train_dataset = list(train_dataset)\n",
" test_dataset = list(test_dataset)\n",
" classes = ['World', 'Sports', 'Business', 'Sci/Tech']\n",
" print('Building vocab...')\n",
" counter = collections.Counter()\n",
" for i, (_, line) in enumerate(train_dataset):\n",
" counter.update(torchtext.data.utils.ngrams_iterator(tokenizer(line),ngrams=ngrams))\n",
" if i == lines_cnt:\n",
" break\n",
" vocab = torchtext.vocab.Vocab(collections.Counter(dict(counter.most_common(vocab_size))), min_freq=min_freq)\n",
" return train_dataset, test_dataset, classes, vocab, tokenizer"
],
"metadata": {
"id": "wdZuygtgiuLG"
},
"execution_count": null,
"outputs": []
},
{
"cell_type": "code",
"source": [
"train_dataset, test_dataset, _, vocab, tokenizer = load_dataset()"
],
"metadata": {
"colab": {
"base_uri": "https://localhost:8080/"
},
"id": "4d1nU1gsivGu",
"outputId": "949fe272-ae0e-49f5-c373-6703458b3a74"
},
"execution_count": null,
"outputs": [
{
"output_type": "stream",
"name": "stdout",
"text": [
"Loading dataset...\n",
"Building vocab...\n"
]
}
]
},
{
"cell_type": "code",
"source": [
"def encode(x, vocabulary, tokenizer = tokenizer):\n",
" return [vocabulary[s] for s in tokenizer(x)]"
],
"metadata": {
"id": "1XDYNhG8ToFV"
},
"execution_count": null,
"outputs": []
},
{
"cell_type": "markdown",
"metadata": {
"id": "LIlQk6_PaHVY"
},
"source": [
"## CBoW మోడల్\n",
"\n",
"CBoW ఒక పదాన్ని దాని చుట్టుపక్కల ఉన్న $2N$ పదాల ఆధారంగా అంచనా వేయడం నేర్చుకుంటుంది. ఉదాహరణకు, $N=1$ అయితే, *I like to train networks* వాక్యం నుండి క్రింది జంటలు వస్తాయి: (like,I), (I, like), (to, like), (like,to), (train,to), (to, train), (networks, train), (train,networks). ఇక్కడ, మొదటి పదం ఇన్‌పుట్‌గా ఉపయోగించే పొరుగువారి పదం, రెండవది మనం అంచనా వేయాల్సిన పదం.\n",
"\n",
"తర్వాతి పదాన్ని అంచనా వేయడానికి నెట్‌వర్క్ నిర్మించాలంటే, పొరుగువారి పదాన్ని ఇన్‌పుట్‌గా ఇస్తూ, పద సంఖ్యను అవుట్‌పుట్‌గా పొందాలి. CBoW నెట్‌వర్క్ నిర్మాణం ఇలా ఉంటుంది:\n",
"\n",
"* ఇన్‌పుట్ పదం embedding లేయర్ ద్వారా పంపబడుతుంది. ఈ embedding లేయర్ మన Word2Vec embedding అవుతుంది, కాబట్టి దీన్ని ప్రత్యేకంగా `embedder` అనే వేరియబుల్‌గా నిర్వచిస్తాము. ఈ ఉదాహరణలో embedding పరిమాణం = 30 గా ఉపయోగిస్తాము, మీరు ఎక్కువ డైమెన్షన్లతో ప్రయోగించవచ్చు (నిజమైన word2vec 300 పరిమాణం కలిగి ఉంటుంది)\n",
"* embedding వెక్టర్ తరువాత ఒక లీనియర్ లేయర్‌కు పంపబడుతుంది, ఇది అవుట్‌పుట్ పదాన్ని అంచనా వేస్తుంది. అందుకే దీని వద్ద `vocab_size` న్యూరాన్లు ఉంటాయి.\n",
"\n",
"అవుట్‌పుట్ కోసం, మనం `CrossEntropyLoss` ను లాస్ ఫంక్షన్‌గా ఉపయోగిస్తే, అంచనా ఫలితాలుగా పదాల సంఖ్యలను మాత్రమే ఇవ్వాలి, one-hot ఎంకోడింగ్ అవసరం లేదు.\n"
]
},
{
"cell_type": "code",
"source": [
"vocab_size = len(vocab)\n",
"\n",
"embedder = torch.nn.Embedding(num_embeddings = vocab_size, embedding_dim = 30)\n",
"model = torch.nn.Sequential(\n",
" embedder,\n",
" torch.nn.Linear(in_features = 30, out_features = vocab_size),\n",
")\n",
"\n",
"print(model)"
],
"metadata": {
"colab": {
"base_uri": "https://localhost:8080/"
},
"id": "akKTcKQKkfl2",
"outputId": "da687e3e-a8ec-4c1a-e456-ab8cd6ac7dad"
},
"execution_count": null,
"outputs": [
{
"output_type": "stream",
"name": "stdout",
"text": [
"Sequential(\n",
" (0): Embedding(5002, 30)\n",
" (1): Linear(in_features=30, out_features=5002, bias=True)\n",
")\n"
]
}
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "Nud6jgGPaHVa"
},
"source": [
"## శిక్షణ డేటాను సిద్ధం చేయడం\n",
"\n",
"ఇప్పుడు టెక్స్ట్ నుండి CBoW పద జంటలను లెక్కించే ప్రధాన ఫంక్షన్‌ను ప్రోగ్రామ్ చేద్దాం. ఈ ఫంక్షన్ విండో సైజ్‌ను నిర్దేశించడానికి అనుమతిస్తుంది, మరియు ఇన్‌పుట్ మరియు అవుట్‌పుట్ పదాల జంటలను తిరిగి ఇస్తుంది. ఈ ఫంక్షన్ పదాలపై మాత్రమే కాకుండా వెక్టర్లు/టెన్సర్లపై కూడా ఉపయోగించవచ్చు - ఇది టెక్స్ట్‌ను ఎన్‌కోడ్ చేసి, తరువాత `to_cbow` ఫంక్షన్‌కు పంపడానికి సహాయపడుతుంది.\n"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"colab": {
"base_uri": "https://localhost:8080/"
},
"id": "x-dsXygOieXn",
"outputId": "c2218280-e540-40ba-9546-efe48d0d714f"
},
"outputs": [
{
"output_type": "stream",
"name": "stdout",
"text": [
"[['like', 'I'], ['to', 'I'], ['I', 'like'], ['to', 'like'], ['train', 'like'], ['I', 'to'], ['like', 'to'], ['train', 'to'], ['networks', 'to'], ['like', 'train'], ['to', 'train'], ['networks', 'train'], ['to', 'networks'], ['train', 'networks']]\n",
"[[232, 172], [5, 172], [172, 232], [5, 232], [0, 232], [172, 5], [232, 5], [0, 5], [1202, 5], [232, 0], [5, 0], [1202, 0], [5, 1202], [0, 1202]]\n"
]
}
],
"source": [
"def to_cbow(sent,window_size=2):\n",
" res = []\n",
" for i,x in enumerate(sent):\n",
" for j in range(max(0,i-window_size),min(i+window_size+1,len(sent))):\n",
" if i!=j:\n",
" res.append([sent[j],x])\n",
" return res\n",
"\n",
"print(to_cbow(['I','like','to','train','networks']))\n",
"print(to_cbow(encode('I like to train networks', vocab)))"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "XVaaDLjaaHVb"
},
"source": [
"ప్రశిక్షణ డేటాసెట్‌ను సిద్ధం చేద్దాం. మనం అన్ని వార్తలను పరిశీలించి, పదజంటల జాబితా పొందడానికి `to_cbow` ను పిలవబోతున్నాము, ఆ జంటలను `X` మరియు `Y` లో చేర్చుతాము. సమయాన్ని దృష్టిలో ఉంచుకుని, మొదటి 10,000 వార్తలే పరిగణలోకి తీసుకుంటాము - మీకు ఎక్కువ సమయం ఉంటే, ఈ పరిమితిని సులభంగా తొలగించి, మెరుగైన ఎంబెడ్డింగ్స్ పొందవచ్చు :)\n"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "54b-Gd9TieXo"
},
"outputs": [],
"source": [
"X = []\n",
"Y = []\n",
"for i, x in zip(range(10000), train_dataset):\n",
" for w1, w2 in to_cbow(encode(x[1], vocab), window_size = 5):\n",
" X.append(w1)\n",
" Y.append(w2)\n",
"\n",
"X = torch.tensor(X)\n",
"Y = torch.tensor(Y)"
]
},
{
"cell_type": "markdown",
"source": [
"మేము ఆ డేటాను ఒక డేటాసెట్‌గా మార్చి, డేటాలోడర్‌ను సృష్టిస్తాము:\n"
],
"metadata": {
"id": "cwWy0PzXWhN5"
}
},
{
"cell_type": "code",
"source": [
"class SimpleIterableDataset(torch.utils.data.IterableDataset):\n",
" def __init__(self, X, Y):\n",
" super(SimpleIterableDataset).__init__()\n",
" self.data = []\n",
" for i in range(len(X)):\n",
" self.data.append( (Y[i], X[i]) )\n",
" random.shuffle(self.data)\n",
"\n",
" def __iter__(self):\n",
" return iter(self.data)"
],
"metadata": {
"id": "mfoAcGPFZU8p"
},
"execution_count": null,
"outputs": []
},
{
"cell_type": "markdown",
"metadata": {
"id": "e4NQ_-5waHVc"
},
"source": [
"మేము ఆ డేటాను ఒక dataset గా మార్చి, dataloader ను సృష్టిస్తాము:\n"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "AbLUcojlieXo"
},
"outputs": [],
"source": [
"ds = SimpleIterableDataset(X, Y)\n",
"dl = torch.utils.data.DataLoader(ds, batch_size = 256)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "pKQr7sXeaHVc"
},
"source": [
"ఇప్పుడు నిజమైన శిక్షణను చేద్దాం. మనం `SGD` ఆప్టిమైజర్‌ను చాలా ఎక్కువ లెర్నింగ్ రేట్‌తో ఉపయోగించబోతున్నాము. మీరు ఇతర ఆప్టిమైజర్లతో కూడా ఆడుకోవచ్చు, ఉదాహరణకు `Adam`. మొదట 10 epochs కోసం శిక్షణ ఇస్తాము - మరియు మీరు ఇంకా తక్కువ నష్టం కావాలనుకుంటే ఈ సెల్‌ను మళ్లీ నడపవచ్చు.\n"
]
},
{
"cell_type": "code",
"source": [
"def train_epoch(net, dataloader, lr = 0.01, optimizer = None, loss_fn = torch.nn.CrossEntropyLoss(), epochs = None, report_freq = 1):\n",
" optimizer = optimizer or torch.optim.Adam(net.parameters(), lr = lr)\n",
" loss_fn = loss_fn.to(device)\n",
" net.train()\n",
"\n",
" for i in range(epochs):\n",
" total_loss, j = 0, 0, \n",
" for labels, features in dataloader:\n",
" optimizer.zero_grad()\n",
" features, labels = features.to(device), labels.to(device)\n",
" out = net(features)\n",
" loss = loss_fn(out, labels)\n",
" loss.backward()\n",
" optimizer.step()\n",
" total_loss += loss\n",
" j += 1\n",
" if i % report_freq == 0:\n",
" print(f\"Epoch: {i+1}: loss={total_loss.item()/j}\")\n",
"\n",
" return total_loss.item()/j"
],
"metadata": {
"id": "HeeCYKr_KF1w"
},
"execution_count": null,
"outputs": []
},
{
"cell_type": "code",
"source": [
"train_epoch(net = model, dataloader = dl, optimizer = torch.optim.SGD(model.parameters(), lr = 0.1), loss_fn = torch.nn.CrossEntropyLoss(), epochs = 10)"
],
"metadata": {
"colab": {
"base_uri": "https://localhost:8080/"
},
"id": "KVgwGtDHgDlT",
"outputId": "2447833f-f0e3-4566-c33d-addbfe2f451d"
},
"execution_count": null,
"outputs": [
{
"output_type": "stream",
"name": "stdout",
"text": [
"Epoch: 1: loss=5.664632366860172\n",
"Epoch: 2: loss=5.632101973960962\n",
"Epoch: 3: loss=5.610399051405015\n",
"Epoch: 4: loss=5.594621561080262\n",
"Epoch: 5: loss=5.582538017415446\n",
"Epoch: 6: loss=5.572900234519603\n",
"Epoch: 7: loss=5.564951676341915\n",
"Epoch: 8: loss=5.558288112064614\n",
"Epoch: 9: loss=5.552576955031129\n",
"Epoch: 10: loss=5.547634165194347\n"
]
},
{
"output_type": "execute_result",
"data": {
"text/plain": [
"5.547634165194347"
]
},
"metadata": {},
"execution_count": 16
}
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "W8u2qXZmaHVd"
},
"source": [
"## Word2Vec ను ప్రయత్నించడం\n",
"\n",
"Word2Vec ఉపయోగించడానికి, మన పదసంపదలోని అన్ని పదాలకు సంబంధించిన వెక్టార్లను తీసుకుందాం:\n"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "r8TatcXjkU_t"
},
"outputs": [],
"source": [
"vectors = torch.stack([embedder(torch.tensor(vocab[s])) for s in vocab.itos], 0)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "3OcX21UOaHVd"
},
"source": [
"ఉదాహరణకు, **Paris** అనే పదం ఎలా వెక్టర్‌గా ఎన్‌కోడ్ చేయబడిందో చూద్దాం:\n"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"colab": {
"base_uri": "https://localhost:8080/"
},
"id": "bz6tAeLzieXp",
"outputId": "5b20850e-4342-45e9-f840-cfac2b4d61d8"
},
"outputs": [
{
"output_type": "stream",
"name": "stdout",
"text": [
"tensor([-0.0915, 2.1224, -0.0281, -0.6819, 1.1219, 0.6458, -1.3704, -1.3314,\n",
" -1.1437, 0.4496, 0.2301, -0.3515, -0.8485, 1.0481, 0.4386, -0.8949,\n",
" 0.5644, 1.0939, -2.5096, 3.2949, -0.2601, -0.8640, 0.1421, -0.0804,\n",
" -0.5083, -1.0560, 0.9753, -0.5949, -1.6046, 0.5774],\n",
" grad_fn=<EmbeddingBackward>)\n"
]
}
],
"source": [
"paris_vec = embedder(torch.tensor(vocab['paris']))\n",
"print(paris_vec)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "pHTJlaeYaHVd"
},
"source": [
"సమానార్థక పదాలను వెతకడానికి Word2Vec ఉపయోగించడం ఆసక్తికరం. క్రింది ఫంక్షన్ ఇచ్చిన ఇన్‌పుట్‌కు అత్యంత సమీపమైన `n` పదాలను తిరిగి ఇస్తుంది. వాటిని కనుగొనడానికి, మనం $|w_i - v|$ యొక్క నార్మ్‌ను లెక్కిస్తాము, ఇక్కడ $v$ మన ఇన్‌పుట్ పదానికి సంబంధించిన వెక్టర్, మరియు $w_i$ శబ్దకోశంలో i-వ పదం యొక్క ఎంకోడింగ్. ఆపై మేము ఆ అర్రేను సర్ది, `argsort` ఉపయోగించి సంబంధిత సూచికలను తిరిగి ఇస్తాము, మరియు మొదటి `n` అంశాలను తీసుకుంటాము, ఇవి శబ్దకోశంలో సమీప పదాల స్థానాలను సూచిస్తాయి.\n"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"colab": {
"base_uri": "https://localhost:8080/"
},
"id": "NlZyi-_olFar",
"outputId": "b5dbb163-88c4-4d5a-eaf2-6751f700e98c"
},
"outputs": [
{
"output_type": "execute_result",
"data": {
"text/plain": [
"['microsoft', 'quoted', 'lp', 'rate', 'top']"
]
},
"metadata": {},
"execution_count": 56
}
],
"source": [
"def close_words(x, n = 5):\n",
" vec = embedder(torch.tensor(vocab[x]))\n",
" top5 = np.linalg.norm(vectors.detach().numpy() - vec.detach().numpy(), axis = 1).argsort()[:n]\n",
" return [ vocab.itos[x] for x in top5 ]\n",
"\n",
"close_words('microsoft')"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"colab": {
"base_uri": "https://localhost:8080/"
},
"id": "-dQq7xeAln0U",
"outputId": "66f768c3-c248-4bfd-ce4f-c8ffc6d0dd0d"
},
"outputs": [
{
"output_type": "execute_result",
"data": {
"text/plain": [
"['basketball', 'lot', 'sinai', 'states', 'healthdaynews']"
]
},
"metadata": {},
"execution_count": 51
}
],
"source": [
"close_words('basketball')"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"colab": {
"base_uri": "https://localhost:8080/"
},
"id": "fJXqK26b29sa",
"outputId": "78f0baba-ffd0-485a-dd87-0a12bedfd7fa"
},
"outputs": [
{
"output_type": "execute_result",
"data": {
"text/plain": [
"['funds', 'travel', 'sydney', 'japan', 'business']"
]
},
"metadata": {},
"execution_count": 77
}
],
"source": [
"close_words('funds')"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "My0VeTDd3Ji8"
},
"source": [
"## ముఖ్యాంశం\n",
"\n",
"CBoW వంటి తెలివైన సాంకేతికతలను ఉపయోగించి, మనం Word2Vec మోడల్‌ను శిక్షణ ఇవ్వవచ్చు. మీరు సెంట్రల్ పదం ఇచ్చినప్పుడు పక్కన ఉన్న పదాన్ని అంచనా వేయడానికి శిక్షణ పొందిన skip-gram మోడల్‌ను కూడా శిక్షణ ఇవ్వడానికి ప్రయత్నించవచ్చు, మరియు అది ఎంత బాగా పనిచేస్తుందో చూడవచ్చు.\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"---\n\n<!-- CO-OP TRANSLATOR DISCLAIMER START -->\n**అస్పష్టత**: \nఈ డాక్యుమెంట్‌ను AI అనువాద సేవ [Co-op Translator](https://github.com/Azure/co-op-translator) ఉపయోగించి అనువదించబడింది. మేము ఖచ్చితత్వానికి ప్రయత్నించినప్పటికీ, ఆటోమేటెడ్ అనువాదాల్లో పొరపాట్లు లేదా తప్పిదాలు ఉండవచ్చు. మూల డాక్యుమెంట్ దాని స్వదేశీ భాషలో అధికారిక మూలంగా పరిగణించాలి. ముఖ్యమైన సమాచారానికి, ప్రొఫెషనల్ మానవ అనువాదం సిఫార్సు చేయబడుతుంది. ఈ అనువాదం వాడకంలో ఏర్పడిన ఏవైనా అపార్థాలు లేదా తప్పుదారితీసే అర్థాలు కోసం మేము బాధ్యత వహించము.\n<!-- CO-OP TRANSLATOR DISCLAIMER END -->\n"
]
}
],
"metadata": {
"colab": {
"collapsed_sections": [],
"name": "CBoW-PyTorch.ipynb",
"provenance": []
},
"interpreter": {
"hash": "16af2a8bbb083ea23e5e41c7f5787656b2ce26968575d8763f2c4b17f9cd711f"
},
"kernelspec": {
"display_name": "Python 3.8.12 ('py38')",
"language": "python",
"name": "python3"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.8.12"
},
"orig_nbformat": 4,
"gpuClass": "standard",
"coopTranslator": {
"original_hash": "36df28efe3fe40b6fb0a7fa48fe3ea82",
"translation_date": "2025-11-26T01:54:19+00:00",
"source_file": "lessons/5-NLP/15-LanguageModeling/CBoW-PyTorch.ipynb",
"language_code": "te"
}
},
"nbformat": 4,
"nbformat_minor": 0
}
Reference in New Issue View Git Blame Copy Permalink