Закон Ципфа

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск
Закон Ципфа для русской Википедии

Закон Ципфаэмпирическая закономерность распределения частоты слов естественного языка: если все слова языка (или просто достаточно длинного текста) упорядочить по убыванию частоты их использования, то частота n-го слова в таком списке окажется приблизительно обратно пропорциональной его порядковому номеру n (так называемому рангу этого слова, см. шкала порядка). Например второе по используемости слово встречается примерно в два раза реже, чем первое, третье — в три раза реже, чем первое, и так далее.

Закон носит имя своего первооткрывателя — американского лингвиста Джорджа Ципфа из Гарвардского университета.

Объяснение закона Ципфа, основанное на корреляционных свойствах аддитивных марковских цепей (со ступенчатой функцией памяти) было дано в 2005 году[1].

Закон Ципфа математически описывается распределением Парето.

Критика[править | править вики-текст]

Американский биолог Вэньтянь Ли[en] предложил опровержение закона Ципфа, доказав, что случайная последовательность символов также подчиняется закону Ципфа[2]. Автор делает гипотетический вывод, что закон Ципфа, по-видимому, является чисто статистическим феноменом, не имеющим отношения к семантике текста.

В общих чертах доказательство этой теории состоит в следующем. Вероятность случайного появления какого-либо слова длиной n в цепочке случайных символов уменьшается с ростом n в той же пропорции, в какой растёт при этом номер этого слова в частотном списке. Потому произведение номера слова на его частоту есть константа.

См. также[править | править вики-текст]

Примечания[править | править вики-текст]

  1. K. E. Kechedzhy, O.V. Usatenko, V. A. Yampol'skii Rank distributions of words in additive many-step Markov chains and the Zipf law = Arxiv LANL. — 2004.; Phys. Rev. E. — 2005. — V. 72. — P. 046138(1)-046138(6).
  2. Wentian Li Закон Ципфа работает и для случайных текстов = Random Texts Exhibit Zipf’s-Law-Like Word Frequency Distribution. — Santa Fe Institute, 1991. — С. 8.