Neurodata Lab

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску

Neurodata Lab — проектная компания и исследовательская лаборатория в области аффективных наук и когнитивных технологий.[1] Neurodata Lab специализируется на разработке систем для распознавания и синтеза эмоций, детекции и анализа движений, неинвазивных методов измерения физиологических сигналов, сборе и анализе аффективных данных.[2]

Neurodata Lab
Отрасль Программное обеспечение
Число сотрудников 1-50

Описание и история[править | править код]

  • Neurodata Lab была основана в апреле 2016 года. Компания является центром компетенций в области эмоционального искусственного интеллекта и аффективных наук и осуществляет деятельность на международных рынках, имеет представительства в России, Италии, Швейцарии и США.[1]
  • В июле 2017 года компания привлекла 1,3 млн долларов США.[3]
  • В марте 2018 года Neurodata Lab совместно с университетом ИТМО провела первую в России конференцию по эмоциональному искусственному интеллекту.[4]
  • 9 октября 2018 года Neurodata Lab объявила о партнерстве с робототехнической компанией Promobot. Нейросетевые технологии Neurodata Lab позволят роботам Promobot распознавать 20 эмоций и когнитивных состояний, адаптировать стратегию общения в зависимости от эмоционального состояния собеседника, а также отвечать в более живой манере благодаря технологии синтеза эмоционального ответа.[5][6][7][8] 1 ноября робот определял 7 эмоций посетителей выставки TechDay Росбанка.[9]
  • 14 февраля 2019 года Росбанк начал тестирование нейросетевой технологии распознавания эмоций в голосе клиента, разработанной компанией Neurodata Lab, как часть пилотного проекта по анализу удовлетворенности клиентским сервисом в режиме реального времени.[10]
  • 26 сентября 2019 года опубликована препринт-версия[11] совместного исследования ирландских (Dublin City University, Queen's University Belfast), британских (University College London) и немецких (University of Bremen) ученых под общим руководством Дамьена Дюпре (Damien Dupré), посвященного анализу и сравнению существующих решений в области детекции и распознавания эмоций по лицу (при этом учитывались как сыгранные, так и спонтанные экспрессии), разрабатываемых компаниями - лидерами на рынке Emotion AI. Алгоритмы от Neurodata Lab по результатам исследования вошли в глобальный топ-3[12] по полноте, точности и корректности распознавания.

Технологии[править | править код]

Программное обеспечение Neurodata Lab для распознавания эмоций не требует носимых датчиков или специального оборудования, кроме веб-камеры и микрофона. Технология обнаруживает, распознает и анализирует эмоциональное и социальное поведение, используя нейронные сети, компьютерное зрение и методы глубокого обучения.

Эмоциональные вычисления[править | править код]

Эмоции могут проявляться по нескольких каналам (модальностям): мимике и микроэкспрессиям лица, глазодвигательной активности, голосовым характеристикам, движениям и позиции тела, а также выражаться через физиологию вроде учащенного сердцебиения.[13] Точность распознавания эмоций по каждой модальности в отдельности в среднем на 9,8% ниже точности в системах для совокупного анализа данных, поступающих по всем каналам одновременно (в 85% случаев).[14] Такой мультимодальный подход положен в основу технологий Neurodata Lab.

Индустрия технологий для детекции эмоций и сформировавшийся под нее рынок получили название эмоциональных, или аффективных, вычислений.[15] В более широком понимании обучение машин распознаванию и синтезу эмоций является частью большого проекта по созданию эмоционального искусственного интеллекта.

Бизнес-применение[править | править код]

Технологии распознавания эмоций применяются в различных сферах: банковской и страховой отраслях, ритейле, автомобильной отрасли, игровой индустрии, коммуникациях, робототехнике, нейромаркетинге, безопасности, цифровой медицине.[16][17]

Проекты и продукты[править | править код]

Распознавание эмоций[править | править код]

Ключевая технология Neurodata Lab позволяет распознавать 20 аффективных и когнитивных состояний.

Трекинг[править | править код]

Несколько трекеров составляют основу технологии Neurodata Lab для распознавания эмоций:

  • Face Tracker: распознавание лица в кадре, а также его отдельных элементов (положения глаз, рта, носа, и других нейросетевых признаков, не поддающихся общепринятой трактовке).
  • Диаризация для определения наличия человеческой речи в аудиопотоке, а также вычленения голоса говорящего, если в момент речи присутствует несколько голосов.
  • Body Tracker: отслеживание движений тела и рук в видеопотоке.
  • Eye Tracker: Извлечение данных о движении глаз.
  • Heart Rate Tracker: Определение пульса с помощью видеокамеры.
  • Respiration Rate Tracker: Определение частоты дыхания с помощью видеокамеры.

Онлайн платформы[править | править код]

Emotion Miner - глобальная платформа по онлайн-аннотированию видеофайлов - сбора, разметки, анализа и процессинга эмоциональных данных на основе англоязычных видеофрагментов, извлеченных из существующего публичного контента (интервью, дебаты, ток-шоу и др.).[18]

Аффективные датасеты[править | править код]

RAMAS - первый в мире русскоязычный мультимодальный аффективный набор данных.[19] Доступен для бесплатного использования для академических учреждений, университетов, лабораторий и некоммерческих организаций в исследовательских целях.

Emotion Miner Data Corpus - датасет, собранный по итогам работы платформы Emotion Miner. На сегодняшний день Emotion Miner Data Corpus — один из крупнейших размеченных мультимодальных эмоциональных видеодатасетов.

Научная деятельность[править | править код]

С момента создания Neurodata Lab выстраивает коллаборации с академическими институтами, университетами, лабораториями и профильными центрами компетенций в США, Европе и России, и активно участвуют в крупных зарубежных конференциях, публикуют академические статьи. По состоянию на 2018 год компания развивала несколько коллабораций с рядом университетов и научных лабораторий, как в России, так и за рубежом, в том числе вела совместные проекты с ВШЭ, МГУ, ИТМО, СколТехом и университетами Ульма, Глазго, Женевы, Генуи.

Публикации и конференции[править | править код]

Примечания[править | править код]

  1. 1 2 Эмоциональный ИИ подскажет, когда на работе лучше пойти попить чай, и поможет бороться со стрессом. news.ifmo.ru. Дата обращения 11 октября 2018.
  2. 7 полезных российских ИИ-разработок, о которых вы могли не знать | Rusbase (рус.), Rusbase. Дата обращения 11 октября 2018.
  3. Neurodata Lab LLC | Crunchbase. Crunchbase (13 сентября 2018).
  4. Конференция «Эмоциональный искусственный интеллект: новые вызовы для науки и образования, новые возможности для бизнеса». news.ifmo.ru. Дата обращения 11 октября 2018.
  5. Швыркова, Анна. Российский стартап Promobot научит роботов утешать и ободрять людей (рус.). Дата обращения 11 октября 2018.
  6. Прогова, Людмила. В России разрабатывают робота с эмоциональным интеллектом, ФБА «Экономика сегодня». Дата обращения 11 октября 2018.
  7. Пермский стартап Promobot научит роботов распознавать эмоции человека. Хайтек. Дата обращения 11 октября 2018.
  8. В России создают робота с эмоциональным ИИ | 5g future (рус.), 5g future (9 октября 2018). Архивировано 13 октября 2018 года. Дата обращения 11 октября 2018.
  9. Как эмоциональная аналитика меняет финтех - IKSMEDIA.RU. IKSMEDIA.RU - деловой портал для бизнеса в телекоме, ИТ, медиа. Дата обращения 13 ноября 2018.
  10. Росбанк начал тестирование технологии распознавания эмоций в голосе. Банки.ру. Дата обращения 15 апреля 2019.
  11. Dupré, D., Krumhuber, E., Küster, D., & McKeown, G. J. Emotion recognition in humans and machine using posed and spontaneous facial expression.. https://doi.org/10.31234/osf.io/kzhds. psyarxiv.com. Дата обращения 9 октября 2019.
  12. Российская ИИ-система распознавания эмоций вошла в топ-3 мировых лидеров. Дата обращения 9 октября 2019.
  13. Цена улыбки: зачем системы искусственного интеллекта учатся распознавать эмоции. Фото | Технологии | Forbes.ru (англ.). www.forbes.ru. Дата обращения 11 октября 2018.
  14. Sidney K. D'mello, Jacqueline Kory. A Review and Meta-Analysis of Multimodal Affect Detection Systems // ACM Computing Surveys (CSUR). — 2015-04-16. — Т. 47, вып. 3. — С. 43. — ISSN 0360-0300. — doi:10.1145/2682899.
  15. Как технологии распознают наши эмоции и почему это так перспективно | Rusbase (рус.), Rusbase. Дата обращения 11 октября 2018.
  16. Плиев, Георгий. Зачем искусственному интеллекту человеческие эмоции (и как они изменят бизнес) (рус.). Дата обращения 11 октября 2018.
  17. Наука эмоций: как умные технологии учатся понимать людей. Дата обращения 11 октября 2018.
  18. Get paid $6 to $100 with emotions. (англ.), The wise half (12 January 2018). Дата обращения 11 октября 2018.
  19. Olga Perepelkina, Evdokia Kazimirova, Maria Konstantinova. RAMAS: Russian Multimodal Corpus of Dyadic Interaction for Affective Computing (англ.) // Speech and Computer. — Cham: Springer International Publishing, 2018. — P. 501—510. — ISBN 9783319995786, 9783319995793. — doi:10.1007/978-3-319-99579-3_52.