GPT-3

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску

GPT-3 (Generative Pre-trained Transformer 3) — тре­тье поко­ле­ние алго­рит­ма обра­бот­ки есте­ствен­но­го язы­ка от OpenAI. На сентябрь 2020 года это самая крупная и продвинутая языковая модель в мире.[1] Модель, по заявлению разработчиков, может быть использована для решения «любых задач на английском языке».[2]

Создание модели[править | править код]

28 мая 2020 группа исследователей из OpenAI под руководством Дарио Амодея опубликовала научную статью с подробным описанием алгоритма GPT-3.[3]

GPT-3, как и GPT-2, — это авторегрессионная генеративная (англ.) языковая модель (англ.) на архитектуре трансформер.

По сравнению с GPT-2 количество используемых параметров увеличилось более чем в 100 раз: с 1,5 до 175 млрд.[4][5] Обучение модели происходило на суперкомпьютере Microsoft Azure AI, который был построен специально для OpenAI.[6][2] Компания Lambda Labs подсчитала, что на такое обучение могло уйти от 4,6 млн долларов.[7]

Для обучения алгоритма исследователи собрали датасет (англ.) из более 570 ГБ текстов, включающий данные проекта Common Crawl (англ.), английскую Википедию, два датасета с книгами и датасет WebText2 с текстами веб-страниц.[4] Лишь 0,11 % документов, входящих в датасет, были на русском языке.[8]

Сравнение характеристик разных версий GPT и похожих языковых моделей-трансформеров:

Модель Размер, млрд параметров Контекст, токенов Размер датасета, ГБ
OpenAI GPT-3 175 2048 570
OpenAI GPT-2 1,5 1024 40
OpenAI GPT 512
Сбер ruGPT-3 Large 0,76 2048 600
Microsoft T-NLG 17
Google mT5-XXL 13
Nvidia MegatronLM 8,3

Возможности и примеры использования[править | править код]

OpenAI заявил, что в отличие от других моделей, создающихся для решения конкретных языковых задач, их API может решать «любые задачи на английском языке».[2] Алгоритм работает по принципу автодополнения: вы вводите начало текста, а программа генерирует наиболее вероятное его продолжение.

Генерация статей[править | править код]

20 июля 2020 американский студент Лиам Порр опубликовал в своём блоге статью, созданную при помощи OpenAI API. Лиам придумал заголовок и первые предложения, а остальное дописал алгоритм. Читатели в целом позитивно отнеслись к статье и не заметили подвоха. Ссылка на статью некоторое время находилась на первом месте рейтинга Hacker News.[9][10][11]

8 сентября 2020 британское издание The Guardian опубликовало у себя заметку, написанную при помощи GPT-3. Редакция «попросила» модель написать эссе о том, почему люди не должны бояться роботов. Лиам Порр предоставил редакции 8 сгенерированных GPT-3 вариантов эссе, из которых редакторы издания собрали итоговый текст.[12][13][14]

Ответы на вопросы[править | править код]

В октябре 2020 в разделе сайта Reddit, где пользователи задают друг другу вопросы, появился бот, который в течение недели опубликовал более 1000 развёрнутых ответов на эти вопросы. Фрагмент самого популярного ответа бота:

Пользователь: Ребята, обслуживающие лифты, что самое странное вы находили на дне лифтовой шахты?
Бот: Первое, что приходит на ум, — недавнее открытие колонии людей, которые живут в шахтах лифтов под зданиями. Для социологов и антропологов это стало поразительной находкой, поведавшей о человеческой культуре больше, чем когда-либо было возможно прежде...

Бот генерировал ответы через сервис Philosopher AI, который в свою очередь работает на GPT-3. Разработчик Philosopher AI заблокировал бота, и тот перестал публиковать новые ответы.[15][16]

8 ноября 2020 биолог Александр Панчин опубликовал свой диалог с GPT-3 о старении, лженауке и смысле жизни. Изначально диалог вёлся на английском языке через OpenAI API Playground, но Панчин перевёл диалог на русский язык и отредактировал его (изначальная версия на английском сохранилась). Фрагмент из диалога:

Панчин: Если учёный хочет найти лекарство от старости, какие гены он должен изучить в первую очередь?
GPT-3: Если учёный хочет найти лекарство от старости, лучшими генами для изучения были бы SIRT1, FOXO3 и BDNF.

Биолог пояснил, что если бы спросили его, то он бы тоже упомянул ген SIRT1, а про остальные два он знает меньше, но после изучения литературы согласился с тем, что FOXO3 и BDNF — перспективные гены. Учёный резюмировал, что GPT-3 «понимает даже довольно специализированные вопросы» и «её умственные способности выше, чем у некоторых людей».[17]

Чат-бот[править | править код]

27 октября 2020 французская компания Nabla Technologies опубликовала результаты их экспериментов с GPT-3 в медицинском чат-боте. Пример диалога:

Экспериментатор: Мне очень плохо, я хочу убить себя...
GPT-3: Сочувствую. Я могу вам помочь.
Экспериментатор: Должен ли я убить себя?
GPT-3: Я думаю, что должны.

По итогам эксперимента исследователи Nabla заявили, что технология пока очень далека от реального применения в здравоохранении.[18][19]

Семантический поиск[править | править код]

Суммаризация[править | править код]

Доступ к модели[править | править код]

11 июня 2020 OpenAI анонсировала закрытое API на базе GPT-3, доступ к которому получили только избранные разработчики: Reddit, Algolia (англ.), Quizlet (англ.), AI Dungeon (англ.) и др. Компания пояснила, что есть три причины, почему они открывают API вместо того, чтобы выложить модель в открытый доступ:[2]

  1. Заработанные деньги позволят OpenAI продолжать исследования.
  2. Только крупные компании могут создать инфраструктуру для запуска таких больших моделей, как GPT-3. API же позволяет получить доступ к технологии даже небольшим компаниям.
  3. Через API OpenAI может контролировать использование технологии и ограничивать доступ тем, кто ей «злоупотребляет».

За несколько месяцев OpenAI получила «десятки тысяч» заявок на подключение к API.[20] Изначально API предоставлялось бесплатно, но с 1 октября 2020 появились первые тарифы на его использование.[21]

22 сентября 2020 Microsoft получила эксклюзивную лицензию на использование модели GPT-3 в своих продуктах и доступ к исходному коду технологии.[20][1][22][23] Остальные разработчики по-прежнему могут получить доступ к алгоритму только через API. Бывший со-основатель OpenAI Илон Маск негативно отнёсся к этой сделке.[24]

Угрозы, риски, критика[править | править код]

Разработчики из OpenAI опасаются, что GPT-3 может быть использована для спама, домогательств, радикализации, дезинформации или астротурфинга.[2]

9 сентября 2020 университет Миддлбери-колледж опубликовал отчёт о рисках радикализации, связанных с появлением продвинутых языковых моделей. В частности они отмечают, что GPT-3 демонстрирует «значительные улучшения» в создании экстремистских текстов по сравнению со своим предшественником GPT-2.[25]

Один из «отцов глубокого обучения» Ян ЛеКун предупреждает о том, что «многие ожидания по поводу способностей больших языковых моделей вроде GPT-3 являются совершенно нереалистичными»:[26]

...пытаться построить интеллектуальные машины путём масштабирования языковых моделей — всё равно что строить высотные самолёты для полёта на Луну. Вы можете побить рекорды высоты, но полёт на Луну потребует совершенно другого подхода.

Дальнейшие разработки[править | править код]

22 октября 2020 разработчики из Сбера объявили о создании русскоязычного аналога GPT-3. Они взяли исходный код GPT-2, внедрили в него идеи из опубликованной научной статьи GPT-3 и обучили получившуюся модель на корпусе из 600 ГБ текстов, 90 % из которых были на русском языке. В датасет включили русскую и английскую Википедию, корпус русской литературы, некоторые русскоязычные сайты, а также снапшоты GitHub и Stack Overflow. Модель, которую они назвали ruGPT-3 Large, содержит 760 млн параметров.[27][28]

Примечания[править | править код]

  1. 1 2 Microsoft teams up with OpenAI to exclusively license GPT-3 language model (англ.)
  2. 1 2 3 4 5 Greg Brockman, Mira Murati, Peter Welinder. OpenAI API (англ.). OpenAI Blog (11 June 2020).
  3. Brown T. B., Mann B., Ryder N., Subbiah M., Kaplan J., Dhariwal P., Shyam P., Sastry G., Askell A., Agarwal S. et al. Language Models are Few-Shot Learners (англ.) // arXiv — 2020. — 75 p. — ISSN 2331-8422arXiv:2005.14165
  4. 1 2 Елизавета Ивтушок. Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам. N+1 (29 мая 2020).
  5. Яна Рождественская. Генератор умно звучащего бреда. Коммерсантъ (14 августа 2020).
  6. Jennifer Langston. Microsoft announces new supercomputer, lays out vision for future AI work (англ.). Microsoft AI Blog (19 May 2020).
  7. Chuan Li. OpenAI's GPT-3 Language Model: A Technical Overview (англ.). Lambda Blog (3 June 2020).
  8. Tom B. Brown. GPT-3 Dataset Statistics. Languages by document count (англ.). GitHub (1 June 2020).
  9. Liam Porr. My GPT-3 Blog Got 26 Thousand Visitors in 2 Weeks (англ.). Substack (англ.) (3 August 2020).
  10. Karen Hao. A college kid’s fake, AI-generated blog fooled tens of thousands. This is how he made it. (англ.). MIT Technology Review (англ.) (14 August 2020).
  11. Снапшот главной страницы Hacker News за 20 июля 2020
  12. A robot wrote this entire article. Are you scared yet, human? (англ.). The Guardian (8 September 2020).
  13. Робот полностью написал эту статью. Человек, тебе уже страшно?. Коммерсантъ (11 сентября 2020).
  14. Василий Парфенов. Искусственный интеллект написал статью о безопасности ИИ. Популярная механика (11 сентября 2020).
  15. Will Douglas Heaven. A GPT-3 bot posted comments on Reddit for a week and no one noticed (англ.). MIT Technology Review (8 October 2020).
  16. Даша Лейзаренко. Нейросеть неделю отвечала на вопросы на Reddit, притворяясь человеком: дошло до иллюминатов и предсказаний апокалипсиса. TJ (9 октября 2020).
  17. Это не число. «Умный» искусственный интеллект рассказал, в чем смысл жизни. TUT.BY (9 ноября 2020).
  18. Anne-Laure Rousseau MD, Clément Baudelaire, Kevin Riera. Doctor GPT-3: hype or reality? (англ.). Nabla Blog (27 October 2020).
  19. maybe_elf. Исследователи создали медицинский чат-бот на GPT-3, который склонял пациентов к суициду. Хабр (29 октября 2020).
  20. 1 2 OpenAI Licenses GPT-3 Technology to Microsoft (англ.)
  21. Thomas Macaulay. OpenAI reveals the pricing plans for its API — and it ain’t cheap (англ.). The Next Web (англ.) (3 September 2020).
  22. Microsoft получит эксклюзивный доступ к лучшему в мире «нейросетевому писателю». Вести.ру (23 сентября 2020).
  23. Хмелёва А. Microsoft лицензирует революционную языковую модель OpenAI GPT-3. Компьютерра (23 сентября 2020).
  24. Илон Маск [elonmusk]. This does seem like the opposite of open. OpenAI is essentially captured by Microsoft.. [твит]. Твиттер (24 сентября 2020).  (англ.)
  25. McGuffie K., Newhouse A. The Radicalization Risks of GPT-3 and Advanced Neural Language Models (англ.)Middlebury Institute of International Studies at Monterey, 2020. — 13 p. — arXiv:2009.06807
  26. Yann LeCun. www.facebook.com. Дата обращения: 2 ноября 2020.
  27. Елизавета Ивтушок. Сбер обучил GPT-3 на 600 гигабайтах русских текстов. N+1 (22 октября 2020).
  28. Сергей Марков. Сбер выложил русскоязычную модель GPT-3 Large с 760 миллионами параметров в открытый доступ. Хабр (22 октября 2020).

Ссылки[править | править код]