Анализ тональности текста

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Ана́лиз тона́льности те́кста (сентимент-анализ, англ. Sentiment analysis, англ. Opinion mining[1]) — класс методов контент-анализа в компьютерной лингвистике[2], предназначенный для автоматизированного выявления в текстах эмоционально окрашенной лексики и эмоциональной оценки мнений авторов по отношению к объектам, речь о которых идёт в тексте[3][⇨].

Термин тональность означает авторскую эмоциональную оценку, выраженную в тексте. Эмоциональная составляющая, выраженная на уровне лексемы или коммуникативного фрагмента, называется лексической тональностью (или лексическим сентиментом). Тональность всего текста в целом можно определить как сумму лексических тональностей составляющих его единиц (предложений) и правил их сочетания[4]. Эмоциональная оценка состоит из мнений.

Задачи[править | править вики-текст]

Основной целью анализа тональности является нахождение мнений в тексте и выявление их свойств. Какие именно свойства будут исследоваться зависит уже от поставленной задачи. К примеру, целью анализа может быть автор, то есть лицо, которому принадлежит мнение.

Мнения делятся на два типа[5]:

  • непосредственное мнение;
  • сравнение.

Непосредственное мнение содержит высказывание автора об одном объекте. Формальное определение непосредственного мнения выглядит так: «непосредственным мнением называется кортеж из пяти элементов (entity, feature, orientation or polarity, holder, time), где entity — объект, об аспекте или свойствах (feature) которого автор (holder) высказал свое эмоциональную оценку(orientation or polarity) в момент времени (time)»[6].

Тональность текста определяется тремя факторами[7]:

  • субъект тональности (автор, то есть кому принадлежит это мнение);
  • объект тональности и его свойства (сущность, насчет которой высказывается автор);
  • собственно тональная оценка (эмоциональная позиция автора относительно упомянутой темы).

Примеры тональных оценок[8]:

  • позитивная;
  • негативная;
  • нейтральная.

Под «нейтральной» подразумевается, что текст не содержит эмоциональной окраски. Также могут существовать и другие тональные оценки[⇨].

Виды классификации[править | править вики-текст]

В современных системах автоматического определения эмоциональной оценки текста чаще всего используется одномерное эмотивное пространство: позитив или негатив (хорошо или плохо). Однако известны успешные случаи использования и многомерных пространств[9][10].

Основной задачей в анализе тональности является классификация полярности данного документа, то есть определение, является ли выраженное мнение в документе или предложении позитивным, негативным или нейтральным. Более развёрнуто, «вне полярности» классификация тональности выражается, например, такими эмоциональными состояниями, как «злой», «грустный» и «счастливый». Ранние работы в этой области включают в себя труды Терни[11] и Панга[12], которые применяют различные методы распознавания полярности обзоров товара и отзывов о фильмах соответственно. Это пример работы на уровне документа.

Классификация по бинарной шкале[править | править вики-текст]

Полярность документа можно определять по бинарной в шкале. В этом случае для определения полярности документа используется два класса оценок: позитивная или негативная. Одним из минусов данного подхода является то, что эмоциональную составляющую документа не всегда можно однозначно определить, т.е документ может содержать как признаки позитивной оценки, так и признаки негативной[8].

Классификация по многополосной шкале[править | править вики-текст]

Можно классифицировать полярность документа по многополосной шкале, что было предпринято Пангом[13] и Снайдером[14] (среди прочих). Ими была расширена основная задача классификации киноотзывов от оценки «положительный или отрицательный» в сторону прогнозирования рейтинга по 3-х или 4-балльной шкале. В то же время Снайдер провёл углублённый анализ обзоров ресторанов, предсказывая рейтинги их различных свойств, таких как еда и атмосфера (по 5-балльной шкале)[14].

Системы шкалирования[править | править вики-текст]

Другим методом определения тональности является использование систем шкалирования, посредством чего словам, обычно связанным с отрицательными, нейтральными или позитивными тональностями, ставятся в соответствии числа по шкале от −10 до 10 (от самого отрицательного к самому положительному). Вначале фрагмент неструктурированного текста исследуется с помощью инструментов и алгоритмов обработки естественного языка, а затем выделенные из этого текста объекты и термины анализируются с целью понимания значения этих слов.[15].

Субъективность/объективность[править | править вики-текст]

Другое исследовательское направление — это идентификация субъективности/объективности[16]. Эта задача обычно определяется как отнесение данного текста в один из двух классов: субъективный или объективный. Эта проблема иногда может быть более сложной, чем классификация полярности: субъективность слов и фраз может зависеть от их контекста, а объективный документ может содержать в себе субъективные предложения (например, новостная статья, цитирующая мнения людей). Более того, как упоминал Су[16], результаты в большей степени зависят от определения субъективности, употребляющейся в рамках аннотации текстов. Как бы то ни было, Панг[17] показал, что удаление объективных предложений из документа перед классификацией полярности помогло повысить точность результатов.

Модель более подробного анализа называется анализом на основе функции/аспекта. Эта модель ссылается на определение мнений или настроений, выраженных различными функциями или аспектами сущностей, например, у сотового телефона, цифровой камеры или банка. Свойство/аспект — это атрибут или компонент сущности, исследуемой на тональность, например, экран сотового телефона или же качество съемки камеры. Эта проблема требует решения ряда задач, например, идентификация актуальных сущностей, извлечение их функций/аспектов и определение, является ли мнение, высказанное по каждой функции/аспекту, положительным, отрицательным или нейтральным. Более подробные дискуссии на этот счёт могут быть найдены в справочнике по NLP, в главе «Анализ тональности и субъективности»[18].

Подходы к классификации тональности[править | править вики-текст]

Компьютеры могут выполнять автоматический анализ цифровых текстов, используя элементы машинного обучения, такие как скрытый семантический анализ, метод опорных векторов, «мешок слов» и семантическая направленность в этой области[11]. Более сложные методы пытаются определить обладателя настроений (то есть человека) и цель (то есть сущность, в отношении которой выражаются чувства). Чтобы добыть мнение в контексте, используют грамматические отношения между словами[19].

Отношения грамматической связанности получаются путём глубокого структурного разбора текста. Анализ тональности может быть разделен на две отдельные категории[20]:

  • ручной (или анализ тональности экспертами);
  • автоматизированный анализ тональности[⇨].

Наиболее заметные различия между ними лежат в эффективности системы и точности анализа. Программные инструменты на основе открытого исходного кода используют алгоритмы машинного обучения, инструменты статистики и обработки естественного языка, чтобы автоматизировать анализ тональности больших массивов текстов, включая веб-страницы, онлайн-новости, тексты дискуссионных групп в сети Интернет, онлайн-обзоры, веб-блоги и социальные медиа.

Семантические тезаурусы[править | править вики-текст]

Существует ряд тезаурусов, специально размеченных с учётом эмоциональной составляющей. Такие словари, описанные далее, необходимы компьютерным программам при анализе тональности текста.

WordNet-Affect[править | править вики-текст]

Примером для разработки WordNet-Affect послужило многоязычное расширение WordNet, названное WordNet Domain[21]. В расширении WordNet Domain каждому синсету приписано не менее одной пометы предметной области (англ. «domain label»), например: спорт, политика, медицина. Всего в иерархически организованную структуру было включено около двухсот предметных помет[22].

WordNet-Affect — это семантический тезаурус, в котором понятия, связанные с эмоциями, («эмоциональные концепты», англ. «affective concepts») представлены с помощью слов, обладающих эмоциональной составляющей («эмоциональные слова», англ. «affective words»)[21]. WordNet-Affect состоит из такого подмножества синсетов[23] WordNet, где каждый синсет, соответствующий «эмоциональному концепту», может быть представлен с помощью «эмоциональных слов»[21].

Таким образом, WordNet-Affect был создан на основе WordNet для английского языка (также существуют версии WordNet-Affect и для других языков[24]) путём выбора и отнесения наборов синонимов (синсетов) к различным эмоциональным понятиям. В частности, синсеты глаголов, существительных, прилагательных, наречий, которые представляют собой описание эмоций, были вручную размечены с помощью специальных эмоциональных меток (affective labels, A-labels)[25]. Эти эмоциональные метки характеризуют различные состояния, выражающие настроения, эмоциональные отклики, или ситуации, которые вызывают эмоции[25]. Примеры таких эмоциональных меток приведены в следующей таблице[26]

Эмоциональная метка Пример
Эмоция(emotion) сущ. гнев#1, гл. бояться#1 (fear)
Настроение(mood) сущ. враждебность#1 (animosisy), прил. любезный#1J (amiable)
Особенность(trait) сущ. агрессивность#1 (aggressiveness), прил. соперничающий#1 (competitive)
Когнитивное состояние(cognitive state) сущ. замешательство#2 (confusion), прил. потрясенный#2 (dazed)
Физическое состояние(physical state) сущ.хворь#1 ( llness), прил. выдохнувшийся#1 (all in)
Гедонический сигнал(gedonic signal) сущ. боль#3(hurt), сущ. страдание#4 (suffering)
Ситуации, вызывающие эмоции (emotion-eliciting situation) сущ. неловкость#3 (awkwardness), сущ. безопасность#1 (out of danger)
Эмоциональные отклики(emotional responses) сущ. холодный пот#1 (cold sweat), гл. дрожать#2 (tremble)
Поступки(behaviour) сущ. преступление#1 (offense), прил. заторможенный#1 (inhibited)
Отношение, позиция(attitude) сущ. нетерпимость#1 (intolerance), сущ. оборонительная позиция#1 (defensive)
Чувство(sensation) сущ. холод#1 (coldness), гл. чувствовать#3 (feel)


Также в WordNet-Affect используются дополнительные эмоциональные метки для того, чтобы разделять синсеты в соответствии с их эмоциональной валентностью. Для этого определяются четыре дополнительные эмоциональные метки: позитивная, негативная, неоднозначная и нейтральная[25]. Первая соответствует положительным эмоциям, которые определяются как эмоциональные состояния, характеризующиеся наличием положительных гедонистических сигналов (или удовольствия). Она включает в себя такие синсеты как радость#1 или увлечение#1. Аналогично негативная метка идентифицирует негативные эмоции, характеризующиеся отрицательными гедонистическими сигналами (или боли), например, гнев#1 или печаль#1. Синсеты, представляющие эмоциональные состояния, валентность которых зависит от семантического контекста (например, удивление#1) помечаются как неоднозначные. Наконец, синсеты, определяющие психологические состояния, и которые всегда рассматриваются как неоднозначные, но при этом не характеризуются валентностью, являются нейтральными[25].

Синсеты, помеченные эмоциональными метками, дополнительно переразмечаются шестью эмоциональными категориями: радость, страх, гнев, печаль, отвращение, удивление. Таким образом, физическая структура WordNet-Affect состоит из шести файлов: anger.txt, disgust.txt, fear.txt, joy.txt, sadness.txt, surprise.txt, где каждый файл представляет собой описание какой-либо категории[27]. На данный момент WordNet-Affect содержит 2,874 синсетов и 4,787 слов[28].

Учёные Технического университета Молдовы перевели синсеты WordNet-Affect с английского на русский и румынский языки, выполнили их выравнивание: английский — румынский — русский[29]. Ресурс доступен онлайн для исследовательских целей[27].

SentiWordNet[править | править вики-текст]

SentiWordNet — это лексический семантический тезаурус, первая версия которого была разработана в 2006 году.[30] На данный момент самой последней версией SentiWordNet является SentiWordNet 3.0[30], использование которой дает более чем 20 % прирост точности по сравнению с первой версией[30].

Данная система является результатом процесса автоматического аннотирования каждого WordNet синсета(набора синонимов) в соответствии с его степенью позитивности, негативности, и объективности[31]. Таким образом, каждому синонимическому ряду из WordNet присваивается три численных оценки, где каждая из этих оценок соответственно определяет объективную, позитивную или негативную составляющую синсета[30]. Каждая из этих оценок принимает значения в интервале от 0 до 1, и в сумме дают 1(единицу), то есть каждая их этих оценок может иметь ненулевое значение[30]. Термы, которые могут иметь различные значения могут иметь различные значения оценок[30].

Процесс обучения SentiWordNet состоял из двух шагов:[32].

  1. На первом шаге разработки системы были использованы методы машинного обучения со слабым (частичным(semi-supervised learning)) участием учителя для первичного наполнения. Вначале было выбрано небольшое множество синсетов, которому вручную были присвоены численные оценки. Затем на основе этого множества было обучено несколько классификаторов, задачей которых является определение степени позитивности, негативности, и объективности синсета. После этого, через полученные модели классификаторов, были определены численные оценки для каждого WordNet синсета.[32]
  2. К данным, полученным на первом шаге, была применена модель случайного блуждания(random-walk step), в результате работы которой были установлены окончательные оценки объективной, позитивной или негативной составляющих каждого синсета. Подробнее об этом этапе вы можете прочитать в следующей работе[33].

SentiWordNet распространяется по лицензии CC BY-SA 3.0. Эта лицензия позволяет свободно использовать SentiWordNet в коммерческих и научных целях при условии указании имен создателей.[31] Любой желающий может самостоятельно загрузить файлы SentiWordNet с официального сайта бесплатно. Также можно загрузить небольшой Java класс, демонстрирующую работу с SentiWordNet[31].

SenticNet[править | править вики-текст]

SenticNet представляет собой еще один семантический тезаурус для работы с наборами эмоциональных понятий. SenticNet является проектом, запущенным в медиа-лаборатории Массачусетского технологического института в 2010 году [34]. С тех пор, проект SenticNet получил дальнейшее развитие и применяется для проектирования интеллектуальных приложений, предназначенных для анализа эмоциональной составляющей текста и охватывающих спектр задач от data mining до организации взаимодействия человека с компьютером [34]. Главным назначением SenticNet является упрощение процедуры машинного распознавания концептуальной и эмоциональной информации, передаваемой с помощью естественного языка [34]. Если сравнить другие лексические тезаурусы, такие как SentiWordNet и WordNet-Affect с SenticNet, то их главным различием будет то, что SentiWordNet и WordNet-Affect обеспечивают связывание слов и эмоциональных понятий на синтаксическом уровне, не позволяя выявлять смысловую составляющую, например, «достижение цели», «нехорошое чувство», «отпраздновать особый случай», «потерять самообладание» или «быть на седьмом небе от счастья», в то время как SenticNet связывает понятия на семантическом уровне[35].

Последней версией является SenticNet 2[36]. В отличие от версии SenticNet 1[36], которая просто присваивает значение тональности примерно 5700 понятиям из корпуса OpenMind, SenticNet 2 обеспечивает связывание семантики и «sentics» (то есть, когнитивной и «эмоциональной» информации) с более чем 14000 понятий и позволяет проводить более глубокий и многогранный анализ текста на естественном языке по сравнению с SenticNet 1[36]. SenticNet 2 построен с помощью «sentic-вычислений», парадигмы, которая использует методы ИИ и семантической паутины для улучшения распознавания, интерпретации и обработки мнений на естественном языке[36].

«Sentic-вычисления» представляют собой междисциплинарный подход к анализу тональности текста на перекрестке между «affect computing» и «common sense computing»[37]. Под термином «common sense computing» подразумевается ряд инициатив, направленных на то, чтобы в компьютерах были представлены знания об всём на свете в том виде, как их понимает человек, и чтобы компьютеры были в состоянии строить логические выводы на основе этих знаний[38]. Такой междисциплинарный подход предполагает использование средств информационных и социальных наук для улучшения распознавания, интерпретации и обработки мнений и чувств[37]. В частности, Sentic вычисления предполагают использование методов искусственного интеллекта и семантической паутины — для представления знаний и их вывода; математику — для решения таких задач как обработка графов и понижение размерности; лингвистику — для дискурсивного анализа и прагматики; психологию — для познавательного и эмоционального моделирования; социологию — для понимания динамики социальных сетей и социального влияния; и наконец этику — для понимания природы ума и создания эмоциональных машин. «Sentic-вычисления» позволяют проводить анализ документов не только на уровне целых страниц и текстов, но и на уровне предложений, что позволяет оценивать тексты на более высоком уровне детализации[37].

Для того чтобы представить данные SenticNet в машиночитаемом виде, удобном для обработки компьютерными программами, данные кодируются в RDF-триплеты с использованием синтаксиса XML. Пример XML-файла для концепта «love» можно посмотреть на сайте проекта по следующей ссылке[39]. Например, если в процессе работы приложения встретится такое понятие как «день рождения», то SenticNet отнесёт его к понятию высокого уровня «события» и свяжет с набором семантически близких понятий, например, «сладкий», «дружеский сюрприз» или «клоун» (которые могут быть использованы в качестве источника дополнительной/контекстной информации, чтобы улучшить результаты поиска)[40]. SenticNet также сопоставляет каждому понятию «sentic-вектор» с численными значениями таких величин, как Pleasantness (приятность), Attention (внимание), Sensitivity (чуткость) and Aptitude(способность)[41], а также величину тональности (для таких задач, как анализ тональности текста), основное и дополнительное настроение, а также набор эмоционально близких понятий, например, «праздник» или «особый случай» (для таких задач, как определение тональности текста)[40].

Любой желающий может свободно скачать SenticNet 2 с официального сайта[42].

Методы классификации тональности[править | править вики-текст]

Методы, основанные на правилах и словарях[править | править вики-текст]

Этот метод основан на поиске эмотивной лексики[7] (лексической тональности) в тексте по заранее составленным тональным словарям и правилам с применением лингвистического анализа. По совокупности найденной эмотивной лексики текст может быть оценен по шкале, содержащей количество негативной и позитивной лексики. Данный метод может использовать как списки правил, подставляемые в регулярные выражения, так и специальные правила соединения тональной лексики внутри предложения. Чтобы проанализировать текст, можно воспользоваться следующим алгоритмом: сначала каждому слову в тексте присвоить его значение тональности из словаря (если оно присутствует в словаре), а затем вычислить общую тональность всего текста путем суммирования значения тональностей каждого отдельного предложения[43].

Основной проблемой методов, основанных на словарях и правилах, считается трудоёмкость процесса составления словаря. Для того, чтобы получить метод, классифицирующий документ с высокой точностью, термины словаря должны иметь вес, адекватный предметной области документа. Например, слово «огромный» по отношению к объему памяти жёсткого диска является положительной характеристикой, но отрицательной по отношению к размеру мобильного телефона. Поэтому данный метод требует значительных трудозатрат, так как для хорошей работы системы необходимо составить большое количество правил. Чтобы ускорить процесс составления словарей и правил, данный метод используется с привязкой к конкретной предметной области (например, тематика ресторанов или тематика мобильных телефонов).

Машинное обучение с учителем[править | править вики-текст]

В наше время наиболее часто используемыми в исследованиях методами являются методы на основе машинного обучения с учителем. Главной сутью таких методов является то, что на первом этапе обучается машинный классификатор (например, байесовский[44]) на заранее размеченных текстах, а затем используют полученную модель при анализе новых документов. Опишем краткий алгоритм[45]:

  1. вначале собирается коллекция документов, на основе которой обучается машинный классификатор;
  2. каждый документ раскладывается в виде вектора признаков(аспектов), по которым он будет исследоваться;
  3. указывается правильный тип тональности для каждого документа;
  4. производится выбор алгоритма классификации и метод для обучения классификатора;
  5. полученную модель используем для определения тональности документов новой коллекции.

Машинное обучение без учителя[править | править вики-текст]

В основе этого подхода лежит идея, что термины, которые чаще встречаются в этом тексте и в то же время присутствуют в небольшом количестве текстов во всей коллекции имеют наибольший вес в тексте. Выделив данные термины, а затем определив их тональность, можно сделать вывод о тональности всего текста[44].

Метод, основанный на теоретико-графовых моделях[править | править вики-текст]

В основе этого метода используется предположение о том, что не все слова в текстовом корпусе документа равнозначны. Какие-то слова имеют больший вес и сильнее влияют на тональность текста. При использовании этого метода анализ тональности разбивается на несколько этапов:

  1. построение графа на основе исследуемого текста;
  2. ранжирование его вершин;
  3. классификация найденных слов;
  4. вычисление результата.

Подробнее о пунктах 1 и 2 вы можете прочитать в работе «Извлечение терминов из русскоязычных текстов при помощи графовых моделей» Д. А. Усталова[46].

Для классификации слов используется тональный словарь, в котором каждому слову соотносится оценка, например «положительная», «отрицательная» или «нейтральная». Для получения конечного результата нужно вычислить значения двух оценок: положительной составляющей текста и отрицательной. Для того, чтобы найти положительную составляющую текста необходимо найти сумму тональностей всех положительных терминов текста с учетом их веса. Значение отрицательной составляющей текста находится аналогичным образом. Для итоговой оценки тональности всего текста нужно вычислить отношение этих составляющих по формуле: T=P/N, где T — итоговая оценка тональности, P — оценка положительной составляющей текста и N — негативная составляющая текста. В соответствии со статьёй Меньшикова[47], текст, в котором значение T близко к единице, будет считаться нейтральным, если немного превосходит 1 — положительным. Если сильно превосходит 1, то сильно положительным. Обратное верно и для текстов отрицательной тональности[48]. Более подробно данный метод рассмотрен в работах Голдберга[49] и Пономарёвой[50].

Оценка качества анализа тональности[править | править вики-текст]

Точность и качество системы анализа тональности текста оценивается тем, насколько хорошо она согласуется с мнением человека относительно эмоциональной оценки исследуемого текста. Для этого могут использоваться такие метрики как точность и полнота[51]. Формула для нахождения полноты:

R=\frac{\text{correctly extracted opinions}}{\text{total number of opinions}}

где correctly extracted opinions — верно определённые мнения, total number of opinions — общее количество мнений(как найденных системой, так и не найденных)[51]. Точность вычисляется по формуле[51]:

P=\frac{\text{correctly extracted opinions}}{\text{total number of opinions found by system}}

где correctly extracted opinions — верно определённые мнения, total number of opinions found by system — общее количество мнений найденных системой[51]. Таким образом, точность выражает количество исследуемых текстов, предложений или документов, в оценке которых мнение системы анализа тональности совпало с мнением эксперта. При этом, согласно исследованию, эксперты обычно соглашаются в оценках тональности конкретного текста в 79 % случаев[52]. Следовательно, программа, которая определяет тональность текста с точностью 70 %, делает это почти так же хорошо, как и человек.

См. также[править | править вики-текст]

Примечания[править | править вики-текст]

  1. Pang, Lee, 2008, p. 6
  2. Пазельская, Соловьев, 2011, с. 510
  3. Pang, Lee, 2008, p. 5-7
  4. Пазельская, Соловьев, 2011, с. 511-512
  5. Bing Liu, 2010, p. 2
  6. Bing Liu, 2010, p. 5
  7. 1 2 Пазельская, Соловьев, 2011
  8. 1 2 Pang, Lee, 2008, p. 16-17
  9. Bollen,Mao,J.Zeng, 2010
  10. Pang, Lee, 2008
  11. 1 2 Turney, 2002
  12. Pang, Lee, Vaithyanathan, 2002
  13. Pang, Lee, 2005
  14. 1 2 Snyder, Barzilay, 2007
  15. Thelwall et al, 2010
  16. 1 2 Su, Markert, 2008, p. 1
  17. Pang, Lee, 2004, p. 7
  18. Bing Liu, 2010
  19. Turney, 2002, p. 2-3
  20. Washington
  21. 1 2 3 Strapparava, 2004
  22. Magnini et al, 2000
  23. Синсет (synset) — набор синонимов.
  24. Bobicev, 2010
  25. 1 2 3 4 WordNet-Affect
  26. Strapparava, 2004
  27. 1 2 WordNet-Affect ru
  28. Strapparava, 2004
  29. Bobicev, 2010
  30. 1 2 3 4 5 6 Stefano Baccianella, 2010
  31. 1 2 3 SentiWordNet
  32. 1 2 Stefano Baccianella, 2010
  33. Stefano Baccianella, 2010
  34. 1 2 3 SenticNet
  35. Erik Cambria, 2012
  36. 1 2 3 4 Erik Cambria, 2012
  37. 1 2 3 Erik Cambria, 2012
  38. Erik Cambria 2009, 2009
  39. SenticNet api love
  40. 1 2 Erik Cambria, 2012
  41. SenticNet api
  42. SenticNet main
  43. Пазельская, Соловьев, 2011
  44. 1 2 Klecovina, Kotelnikov, 2012
  45. Klecovina, Kotelnikov, 2012
  46. Усталов, 2012
  47. Меньшиков, 2012, с. 1-3
  48. Меньшиков, 2012, с. 3-4
  49. Goldberg, Zhu, 2006
  50. Ponomareva, Thelwall, 2012
  51. 1 2 3 4 Nozomi Kobayashi, 2006, p. 4
  52. Ogneva

Литература[править | править вики-текст]

Ссылки[править | править вики-текст]

  • Washington, Erin. Human Sentiment Analysis (англ.). Growing Social Media (14-11-2013). Проверено 11 декабря 2013.