94ab679d2a
|
||
|---|---|---|
| .. | ||
| lab | ||
| CBoW-PyTorch.ipynb | ||
| CBoW-TF.ipynb | ||
| README.md | ||
README.md
Μοντελοποίηση Γλώσσας
Οι σημασιολογικές ενσωματώσεις, όπως το Word2Vec και το GloVe, αποτελούν στην πραγματικότητα ένα πρώτο βήμα προς τη μοντελοποίηση γλώσσας - τη δημιουργία μοντέλων που με κάποιο τρόπο κατανοούν (ή αναπαριστούν) τη φύση της γλώσσας.
Προ-διάλεξης κουίζ
Η βασική ιδέα πίσω από τη μοντελοποίηση γλώσσας είναι η εκπαίδευση σε μη επισημασμένα σύνολα δεδομένων με μη εποπτευόμενο τρόπο. Αυτό είναι σημαντικό επειδή έχουμε τεράστιες ποσότητες μη επισημασμένου κειμένου διαθέσιμες, ενώ η ποσότητα του επισημασμένου κειμένου θα είναι πάντα περιορισμένη από την προσπάθεια που μπορούμε να αφιερώσουμε για την επισήμανση. Τις περισσότερες φορές, μπορούμε να δημιουργήσουμε μοντέλα γλώσσας που μπορούν να προβλέψουν λέξεις που λείπουν από το κείμενο, επειδή είναι εύκολο να αποκρύψουμε μια τυχαία λέξη από το κείμενο και να τη χρησιμοποιήσουμε ως δείγμα εκπαίδευσης.
Εκπαίδευση Ενσωματώσεων
Στα προηγούμενα παραδείγματα, χρησιμοποιήσαμε προεκπαιδευμένες σημασιολογικές ενσωματώσεις, αλλά είναι ενδιαφέρον να δούμε πώς μπορούν να εκπαιδευτούν αυτές οι ενσωματώσεις. Υπάρχουν αρκετές ιδέες που μπορούν να χρησιμοποιηθούν:
- Γλωσσική μοντελοποίηση N-Gram, όπου προβλέπουμε ένα σύμβολο κοιτάζοντας τα N προηγούμενα σύμβολα (N-gram).
- Continuous Bag-of-Words (CBoW), όπου προβλέπουμε το μεσαίο σύμβολο
W_0σε μια ακολουθία συμβόλωνW_{-N}, ...,W_N. - Skip-gram, όπου προβλέπουμε ένα σύνολο γειτονικών συμβόλων {
W_{-N},\dots, W_{-1}, W_1,\dots, W_N} από το μεσαίο σύμβολοW_0.
Εικόνα από αυτό το άρθρο
✍️ Παράδειγμα Σημειωματάρια: Εκπαίδευση Μοντέλου CBoW
Συνεχίστε τη μάθησή σας στα παρακάτω σημειωματάρια:
Συμπέρασμα
Στο προηγούμενο μάθημα είδαμε ότι οι ενσωματώσεις λέξεων λειτουργούν σαν μαγεία! Τώρα γνωρίζουμε ότι η εκπαίδευση ενσωματώσεων λέξεων δεν είναι μια πολύπλοκη διαδικασία, και θα πρέπει να μπορούμε να εκπαιδεύσουμε τις δικές μας ενσωματώσεις λέξεων για κείμενα συγκεκριμένου τομέα, αν χρειαστεί.
Μετα-διάλεξης κουίζ
Ανασκόπηση & Αυτομελέτη
- Επίσημο σεμινάριο PyTorch για Μοντελοποίηση Γλώσσας.
- Επίσημο σεμινάριο TensorFlow για εκπαίδευση μοντέλου Word2Vec.
- Η χρήση του πλαισίου gensim για την εκπαίδευση των πιο συχνά χρησιμοποιούμενων ενσωματώσεων με λίγες γραμμές κώδικα περιγράφεται σε αυτή την τεκμηρίωση.
🚀 Εργασία: Εκπαίδευση Μοντέλου Skip-Gram
Στο εργαστήριο, σας προκαλούμε να τροποποιήσετε τον κώδικα από αυτό το μάθημα για να εκπαιδεύσετε ένα μοντέλο skip-gram αντί για CBoW. Διαβάστε τις λεπτομέρειες
Αποποίηση Ευθύνης:
Αυτό το έγγραφο έχει μεταφραστεί χρησιμοποιώντας την υπηρεσία αυτόματης μετάφρασης AI Co-op Translator. Παρόλο που καταβάλλουμε κάθε προσπάθεια για ακρίβεια, παρακαλούμε να έχετε υπόψη ότι οι αυτόματες μεταφράσεις ενδέχεται να περιέχουν σφάλματα ή ανακρίβειες. Το πρωτότυπο έγγραφο στη μητρική του γλώσσα θα πρέπει να θεωρείται η αυθεντική πηγή. Για κρίσιμες πληροφορίες, συνιστάται επαγγελματική ανθρώπινη μετάφραση. Δεν φέρουμε ευθύνη για τυχόν παρεξηγήσεις ή εσφαλμένες ερμηνείες που προκύπτουν από τη χρήση αυτής της μετάφρασης.