Векторное представление слов

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску

Векторное представление — общее название для различных подходов к моделированию языка и обучению представлений в обработке естественного языка, направленных на сопоставление словам (и, возможно, фразам) из некоторого словаря векторов из для , значительно меньшего количества слов в словаре. Теоретической базой для векторных представлений является дистрибутивная семантика.

Существует несколько методов для построения такого сопоставления. Так, используют нейронные сети[1] , методы снижения размерности в применении к матрицам совместных упоминаний слов (word co-occurrence matrices)[2] и явные представления, обучающиеся на контекстах упоминаний слов (explicit representations)[3].

Продемонстрировано[кем?], что векторные представления слов и фраз способны значительно улучшить качество работы некоторых методов автоматической обработки естественного языка (например, синтаксический анализ[4] и анализ тональности[5]).

Ссылки[править | править код]

  1. Mikolov, Tomas; Sutskever, Ilya; Chen, Kai; Corrado, Greg & Dean, Jeffrey (2013), "Distributed Representations of Words and Phrases and their Compositionality", arΧiv:1310.4546 [cs.CL] 
  2. Lebret, Rémi & Collobert, Ronan (2013), "Word Emdeddings through Hellinger PCA", arΧiv:1312.5542 [cs.CL] 
  3. Levy, Omer; Goldberg, Yoav. Linguistic Regularities in Sparse and Explicit Word Representations (англ.) // Proceedings of the Eighteenth Conference on Computational Natural Language Learning, Baltimore, Maryland, USA, June. Association for Computational Linguistics. 2014 : journal.
  4. Socher, Richard; Bauer, John; Manning, Christopher; Ng, Andrew. Parsing with compositional vector grammars (неопр.) // Proceedings of the ACL conference. 2013.
  5. Socher, Richard; Perelygin, Alex; Wu, Jean; Chuang, Jason; Manning, Chris; Ng, Andrew; Potts, Chris. Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank (англ.) // Conference on Empirical Methods in Natural Language Processing : journal.