Векторное представление слов

Векторное представление (векторное вложение слов, вложение слов или эмбеддинги) — общее название для различных подходов к моделированию языка и обучению представлений в обработке естественного языка, направленных на сопоставление словам (и, возможно, фразам) из некоторого словаря векторов из $\mathbb {R} ^{n}$ для $n$, значительно меньшего количества слов в словаре. Теоретической базой для векторных представлений является дистрибутивная семантика.

Существует несколько методов для построения такого сопоставления. Так, используют нейронные сети , методы снижения размерности в применении к матрицам совместных упоминаний слов (word co-occurrence matrices) и явные представления, обучающиеся на контекстах упоминаний слов (explicit representations).

Продемонстрировано^[кем?], что векторные представления слов и фраз способны значительно улучшить качество работы некоторых методов автоматической обработки естественного языка (например, синтаксический анализ и анализ тональности).

Примеры эмбеддингов

В настоящее время существует большое количество моделей векторного представления слов и алгоритмов, для их эффективного обучения. К наиболее известным относятся:

• Word2vec — разработанный в 2013 году в компании Google набор инструментов для эффективного обучения моделей эмбеддингов
• GloVe — модель и алгоритм обучения без учителя для получения векторных представлений слов, разработанный в 2014 году в Стэндфордском университете
• FastText — модель, разработанная компанией Facebook в 2015 году. Её особенностью является использование эмбеддингов не только для целых слов, но и для их частей.

Ссылки

• Векторное представление слов Викиконспекты ИТМО