5.9 KiB
Моделювання мови
Семантичні векторні представлення, такі як Word2Vec і GloVe, насправді є першим кроком до моделювання мови — створення моделей, які певним чином розуміють (або представляють) природу мови.
Тест перед лекцією
Основна ідея моделювання мови полягає в тому, щоб навчати моделі на немаркованих наборах даних у ненаглядний спосіб. Це важливо, оскільки у нас є величезна кількість немаркованого тексту, тоді як обсяг маркованого тексту завжди буде обмежений зусиллями, які ми можемо витратити на маркування. Найчастіше ми можемо створювати мовні моделі, які можуть передбачати пропущені слова в тексті, оскільки легко приховати випадкове слово в тексті та використовувати його як навчальний зразок.
Навчання векторних представлень
У попередніх прикладах ми використовували попередньо навчені семантичні векторні представлення, але цікаво побачити, як ці вектори можна навчати. Є кілька можливих підходів:
- Моделювання мови за допомогою N-грам, коли ми передбачаємо токен, аналізуючи N попередніх токенів (N-грам).
- Безперервний мішок слів (CBoW), коли ми передбачаємо середній токен
W_0у послідовності токенівW_{-N}, ...,W_N. - Skip-gram, де ми передбачаємо набір сусідніх токенів {
W_{-N},\dots, W_{-1}, W_1,\dots, W_N} на основі середнього токенаW_0.
Зображення з цієї статті
✍️ Приклад блокнотів: Навчання моделі CBoW
Продовжуйте навчання за допомогою наступних блокнотів:
Висновок
У попередньому уроці ми побачили, що векторні представлення слів працюють як магія! Тепер ми знаємо, що навчання векторних представлень слів — це не дуже складне завдання, і ми зможемо навчити власні векторні представлення для текстів у специфічних доменах, якщо це буде потрібно.
Тест після лекції
Огляд і самостійне навчання
- Офіційний підручник PyTorch з моделювання мови.
- Офіційний підручник TensorFlow з навчання моделі Word2Vec.
- Використання фреймворку gensim для навчання найпоширеніших векторних представлень у кілька рядків коду описано в цій документації.
🚀 Завдання: Навчання моделі Skip-Gram
У лабораторній роботі ми пропонуємо вам змінити код з цього уроку, щоб навчити модель Skip-Gram замість CBoW. Детальніше
Відмова від відповідальності:
Цей документ було перекладено за допомогою сервісу автоматичного перекладу Co-op Translator. Хоча ми прагнемо до точності, звертаємо вашу увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу.