Нейронный процессор

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску

Нейро́нный проце́ссор (англ. Neural Processing Unit, NPU или ИИ-ускоритель англ. AI accelerator) — это специализированный класс микропроцессоров и сопроцессоров (часто являющихся специализированной интегральной схемой), используемый для аппаратного ускорения работы алгоритмов искусственных нейронных сетей, компьютерного зрения, распознавания по голосу, машинного обучения и других методов искусственного интеллекта[1].

Описание[править | править код]

Нейронные процессоры относятся к вычислительной технике и используются для аппаратного ускорения эмуляции работы нейронных сетей и цифровой обработки сигналов в режиме реального времени. Как правило, нейропроцессор содержит регистры, блоки памяти магазинного типа, коммутатор и вычислительное устройство, содержащее матрицу умножения, дешифраторы, триггеры и мультиплексоры[2].

На современном этапе (по состоянию на 2017 год) к классу нейронных процессоров могут относиться разные по устройству и специализации типы чипов, например:

История[править | править код]

Области применения[править | править код]

Nvidia Drive PX-series  (англ.).

Примеры[править | править код]

Существующие продукты[править | править код]

16-ядерный чип Adapteva Epiphany (E16G301) на одноплатном компьютере для параллельных вычислений.
  • Процессоры машинного зрения:
  • Тензорные процессоры:
    • Google TPU (англ. Tensor Processing Unit) — представлен как ускоритель для системы Google TensorFlow, которая широко применяется для свёрточных нейронных сетей. Сфокусирован на большом объёме арифметики 8-битной точности[5].
    • Huawei Ascend 310 / Ascend 910 — первые два чипа оптимизированные под решения задач искусственного интеллекта из линейки Ascend компании Huawei[13].
    • Intel Nervana NNP  (англ.) (англ. Neural Network Processor) — это первый коммерчески доступный тензорный процессор, предназначенный для постройки сетей глубокого обучения[14], компания Facebook была партнёром в процессе его проектирования[15][16].
    • Qualcomm Cloud AI 100 — ускоритель искусственного интеллекта, предназначенный для использования в составе облачных платформ, поддерживающий программные библиотеки PyTorch, Glow, TensorFlow, Keras и ONNX[17].
  • Нейроморфные процессоры:
    • IBM TrueNorth — нейроморфный процессор, построенный по принципу взаимодействия нейронов, а не традиционной арифметики. Частота импульсов представляет интенсивность сигнала. По состоянию на 2016 год среди исследователей ИИ нет консенсуса, является ли это правильным путём для продвижения[18], но некоторые результаты являются многообещающими, с продемонстрированной большой экономией энергии для задач машинного зрения[19].
  • Adapteva Epiphany  (англ.) — предназначен как сопроцессор, включает модель блокнотной памяти  (англ.) сети на кристалле  (англ.), подходит к модели программирования потоком информации, которая должна подходить для многих задач машинного обучения.
  • ComBox x64 Movidius PCIe Blade board - плата расширения PCI Express с максимальной плотностью VPU Intel Movidius (MyriadX) для инференса сверхточных нейронных сетей в ЦОД
  • Cambricon  (англ.) MLU100 — карта расширения PCI Express с ИИ-процессором мощностью 64 TFLOPS с половинной точностью или 128 TOPS для вычислений INT8[20].
  • Cerebras Wafer Scale Engine (WSE, CS-1) — экспериментальный суперпроцессор компании Cerebras, содержит 1,2 трлн транзисторов, организованных в 400 000 ИИ-оптимизированных вычислительных ядер и 18 Гбайт локальной распределённой памяти SRAM, и всё это связано ячеистой сетью с общей производительностью 100 петабит в секунду. Чип Cerebras ― это фактически суперкомпьютер на чипе, где вычислительные ядра SLAC (Sparse Linear Algebra Cores) ― полностью программируемые и могут быть оптимизированы для работы с любыми нейронными сетями[21].
  • KnuPath  (англ.) — процессор компании KnuEdge  (англ.), предназначен для работы в системах распознавания речи и прочих отраслях машинного обучения, он использует соединительную технологию LambdaFabric и позволяет объединять в единую систему до 512 тысяч процессоров[22].

GPU-продукты[править | править код]

  • Nvidia Tesla — серия специализированных GPGPU-продуктов компании Nvidia[23]:
    • Nvidia Volta  (англ.) — графические процессоры (GPU) архитектуры Volta (2017 год) компании Nvidia (такие как Volta GV100), содержат до 640 специальных ядер для тензорных вычислений[1].
    • Nvidia Turing  (англ.) — графические процессоры архитектуры Turing (2018 год) компании Nvidia (такие как Nvidia TU104), содержат до 576 специальных ядер для тензорных вычислений[24].
    • Nvidia DGX-1  (англ.) — специализированный сервер, состоящий из 2 центральных процессоров и 8 GPU Nvidia Volta GV100  (англ.) (5120 тензорных ядер), связанных через быструю шину NVLink[25]. Специализированная архитектура памяти  (англ.) у этой системы является особенно подходящей для построения сетей глубокого обучения[26][27].
  • AMD Radeon Instinct  (англ.) — специализированная GPGPU-плата компании AMD, предлагаемая как ускоритель для задач глубокого обучения[28][29].

ИИ-ускорители в виде внутренних сопроцессоров (аппаратных ИИ-блоков)[править | править код]

6-ядерный SoC Apple A11 Bionic с Neural Engine

Научные исследования и разрабатываемые продукты[править | править код]

  • Индийский технологический институт в Мадрасе?! разрабатывает ускоритель на импульсных нейронах для новых систем архитектуры RISC-V, направленных на обработку больших данных на серверных системах[34].
  • Eyeriss  (англ.) — разработка, направлена на свёрточные нейронные сети с применением блокнотной памяти и сетевой архитектуры в пределах кристалла.
  • Fujitsu DLU  (англ.) — многоблочный и многоядерный сопроцессор компании Fujitsu использующий вычисления с низкой точностью и предназначенный для глубокого машинного обучения[35].
  • Intel Loihi  (англ.) — нейроморфный процессор компании Intel, который сочетает процессы обучения, тренировки и принятия решений в одном чипе, позволяя системе быть автономной и «сообразительной» без подключения к облаку. Например, при обучении с помощью базы данных MNIST (Mixed National Institute of Standards and Technology) процессор Loihi оказывается в 1 млн раз лучше, чем другие типичные спайковые нейронные сети[36].
  • Kalray  (англ.) — показала MPPA  (англ.)[37] и сообщила о повышении эффективности свёрточных нейронных сетей в сравнении с GPU.
  • SpiNNaker — массово-параллельная компьютерная архитектура, которая сочетает ядра традиционной ARM-архитектуры с усовершенствованной сетевой структурой, специализированной для моделирования крупной нейронной сети.
  • Zeroth NPU  (англ.) — разработка компании Qualcomm, направленная непосредственно на привнесение возможностей распознавания речи и изображений в мобильные устройства[38].
  • IVA TPU — тензорный процессор, над созданием которого работает[39][40] российская компания IVA Technologies. В октябре 2020 года были опубликованы результаты[41][42] тестирования архитектуры ускорителя расчета нейронных сетей IVA TPU, проведенного международным консорциумом MLPerf (учрежден в 2018 году Baidu, Google, Harvard University, Stanford University, University of California, Berkeley).

Примечания[править | править код]

  1. 1 2 Популярность машинного обучения влияет на эволюцию архитектуры процессоров. Servernews. (31 августа 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
  2. Нейропроцессор, устройство для вычисления функций насыщения, вычислительное устройство и сумматор. FindPatent.RU. Дата обращения: 17 ноября 2017. Архивировано 1 декабря 2017 года.
  3. IBM поставила LLNL нейропроцессоры TrueNorth за $1 млн. Компьютерра. (31 марта 2016). Дата обращения: 17 ноября 2017. Архивировано 19 ноября 2017 года.
  4. Intel разрабатывает тензорные процессоры для ИИ. PC Week/RE. (22 ноября 2016). Дата обращения: 17 ноября 2017. Архивировано 1 декабря 2017 года.
  5. 1 2 Подробности о тензорном сопроцессоре Google TPU. Servernews. (25 августа 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
  6. 1 2 Intel анонсировала процессор машинного зрения Movidius Myriad X. 3DNews. (29 августа 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
  7. Nvidia Drive PX: Scalable AI Supercomputer For Autonomous Driving. Nvidia. Дата обращения: 17 ноября 2017. Архивировано 16 июля 2016 года. (англ.)
  8. NVIDIA представила Drive PX Pegasus — платформу для автопилота нового поколения. 3DNews (10 октября 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года. (рус.)
  9. Movidius powers worlds most intelligent drone. Дата обращения: 15 ноября 2017. Архивировано 9 августа 2016 года. (англ.)
  10. Qualcomm Research brings server-class machine learning to everyday devices. Дата обращения: 15 ноября 2017. Архивировано 8 августа 2016 года. (англ.)
  11. Design of a machine vision system for weed control. Дата обращения: 15 ноября 2017. Архивировано из оригинала 23 июня 2010 года. (англ.)
  12. The Evolution of EyeQ. Дата обращения: 18 ноября 2017. Архивировано 7 декабря 2017 года.
  13. Huawei создала первые в мире ИИ-процессоры, пойдя по пути разработчиков «Эльбрусов», CNews (23 октября 2018). Архивировано 23 октября 2018 года. Дата обращения: 24 октября 2018.
  14. До конца года Intel выпустит «первую в отрасли микросхему для обработки нейронных сетей» — Intel Nervana Neural Network Processor. iXBT.com (18 октября 2017). Дата обращения: 21 ноября 2017. Архивировано 15 ноября 2017 года.
  15. Intel unveils purpose-built Neural Network Processor for deep learning, Tech Report (17 октября 2017). Архивировано 24 ноября 2017 года. Дата обращения: 17 ноября 2017.
  16. Intel Nervana Neural Network Processors (NNP) Redefine AI Silicon (17 октября 2017). Архивировано 20 октября 2017 года. Дата обращения: 17 ноября 2017.
  17. Qualcomm представила ускоритель искусственного интеллекта Cloud AI 100, Servernews.ru (10 апреля 2019). Архивировано 10 апреля 2019 года. Дата обращения: 16 апреля 2019.
  18. Ян ЛеКун про IBM TrueNorth. Дата обращения: 15 ноября 2017. Архивировано 5 июля 2015 года. (англ.)
  19. IBM cracks open new era of neuromorphic computing. — «TrueNorth is incredibly efficient: The chip consumes just 72 milliwatts at max load, which equates to around 400 billion synaptic operations per second per watt — or about 176,000 times more efficient than a modern CPU running the same brain-like workload, or 769 times more efficient than other state-of-the-art neuromorphic approaches». Дата обращения: 15 ноября 2017. Архивировано 9 июля 2016 года. (англ.)
  20. Китайская компания Cambricon разрабатывает чипы ИИ для дата-центров. Дата обращения: 15 июня 2018. Архивировано из оригинала 16 июня 2018 года.
  21. Cerebras ― процессор для ИИ невероятных размеров и возможностей. 3DNews. (20 августа 2019). Дата обращения: 21 августа 2019. Архивировано 20 августа 2019 года.
  22. KnuPath — нейроморфный процессор военного назначения. 3DNews. (9 июня 2016). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
  23. Computex: Глава Nvidia не видит угрозы в «тензорном» процессоре Google. «Открытые системы». (1 июня 2016). Дата обращения: 17 ноября 2017. Архивировано 1 декабря 2017 года.
  24. Что принесёт на рынок новая архитектура NVIDIA Turing? 3DNews. (14 августа 2018). Дата обращения: 17 августа 2018. Архивировано 23 марта 2019 года.
  25. Эра NVIDIA Volta началась с ускорителя Tesla V100. Servernews. (11 мая 2017). Дата обращения: 17 ноября 2017. Архивировано 1 декабря 2017 года.
  26. GTC Europe 2017: библиотека NVIDIA TensoRT 3 ускоряет работу нейросетей в 18 раз по сравнению с универсальным решением. Servernews. (12 октября 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
  27. Новый российский суперкомпьютер предназначен для обучения нейросетей. Servernews. (1 сентября 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
  28. AMD Announces Radeon Instinct: GPU Accelerators for Deep Learning, Coming in 2017, Anandtech (12 декабря 2016). Архивировано 12 декабря 2016 года. Дата обращения: 12 декабря 2016.
  29. Radeon Instinct Machine Learning GPUs include Vega, Preview Performance, PC Per (12 декабря 2016). Архивировано 11 августа 2017 года. Дата обращения: 12 декабря 2016.
  30. Huawei представляет будущее мобильного искусственного интеллекта на IFA 2017. Дата обращения: 15 июня 2018. Архивировано 16 июня 2018 года.
  31. CEVA NeuPro. A Family of AI Processors for Deep Learning at the Edge. Дата обращения: 15 июня 2018. Архивировано 16 июня 2018 года.
  32. The iPhone X’s new neural engine exemplifies Apple’s approach to AI, The Verge (13 сентября 2017). Архивировано 15 сентября 2017 года. Дата обращения: 17 ноября 2017.
  33. Imagination представила новые ИИ-ускорители PowerVR 2NX, 3DNews (8 июня 2018). Архивировано 16 июня 2018 года. Дата обращения: 15 июня 2018.
  34. India preps RISC-V Processors - Shakti targets servers, IoT, analytics. — «The Shakti project now includes plans for at least six microprocessor designs as well as associated fabrics and an accelerator chip». Дата обращения: 15 ноября 2017. Архивировано из оригинала 3 июля 2017 года. (англ.)
  35. Fujitsu разрабатывает специализированный процессор для систем ИИ. Servernews. (24 июля 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
  36. Intel представила нейроморфный процессор Loihi. 3DNews. (26 сентября 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
  37. Kalray MPPA. Дата обращения: 15 ноября 2017. Архивировано 23 апреля 2016 года. (англ.)
  38. Qualcomm показала нейропроцессор Zeroth. Logmag.net (16 октября 2013). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
  39. embedded world. IVA TPU – DNN inference accelerator // NeuroMatrix Architecture for Neural Network Applications | embedded world (англ.). www.embedded-world.de. Дата обращения: 30 ноября 2020. Архивировано 21 января 2021 года.
  40. В России создана оригинальная процессорная архитектура, способная потеснить NVidia. CNews.ru. Дата обращения: 30 ноября 2020. Архивировано 25 ноября 2020 года.
  41. Inference Results (англ.). MLPerf. Дата обращения: 30 ноября 2020. Архивировано 28 ноября 2020 года.
  42. Sally Ward-Foxton. Machine learning benchmark expands support for edge, data center workloads (англ.). Embedded.com (3 ноября 2020). Дата обращения: 30 ноября 2020. Архивировано 25 ноября 2020 года.

Ссылки[править | править код]