Тензорный процессор Google
| Тензорный процессор Google | |
|---|---|
 Tensor Processing Unit 3.0 | |
 Медиафайлы на Викискладе |
Тензорный процессор (англ. Tensor Processing Unit; TPU) — нейронный процессор, разработанный корпорацией Google. Является специализированной интегральной схемой, предназначенной для использования с библиотекой машинного обучения TensorFlow. Представлен в 2016 году на конференции Google I/O, при этом утверждалось, что устройства к тому моменту уже использовались внутри корпорации Google более года[1][2].
По сравнению с графическими процессорами, рассчитан на более высокий объём вычислений с пониженной точностью (например, всего 8-разрядную точность[3]) при более высокой производительности на ватт и отсутствии модуля для растризации и текстурных блоков[1][2].
Утверждается, что тензорные процессоры применялись в серии игр в го программы AlphaGo против Ли Седоля[2] и в следующих подобных поединках[4]. Также корпорация применила тензорные процессоры для обработки фотографий Google Street View на предмет извлечения текста, сообщалось, что весь объём обработан менее чем за пять дней. В Google Фото один тензорный процессор может обрабатывать более 100 миллионов фотографий в день. Также устройство применяется для самообучающейся системы RankBrain, обрабатывающей отклики поисковой системы Google.
Устройство реализовано как матричный умножитель для 8-разрядных чисел, управляемый CISC-инструкциями центрального процессора по шине PCIe 3.0. Изготавливается по технологии 28 нм, тактовая частота составляет 700 МГц и имеет тепловую расчётную мощность 28—40 Вт. Оснащается 28 Мбайт встроенной оперативной памяти и 4 Мбайт 32-разрядных аккумуляторов, накапливающих результаты в массивах из 8-битных множителей, организованных в матрицу размером 256×256. Инструкции устройства передают данные на узел или получают их из него, выполняют матричные умножения или свёртки[5]. В такт может производиться 65536 умножений на каждой матрице; в секунду — до 92 трлн[6].
Характеристики разных поколений тензорных процессоров
[править | править код]| TPU v1 | TPU v2[10] | TPU v3[11] | TPU v4[8][12] | TPU v5e[13][14] | TPU v5p[15] | TPU v6 (Trillium)[16] | TPU v7 (Ironwood)[17][18] | |
|---|---|---|---|---|---|---|---|---|
| Дата выхода | 2016 | 2017 | 2018 | 2021 | 2023 | 2023 | 2024 | 2025 |
| Технологический процесс | 28 нм | 16 нм | 16 нм | 7 нм | ||||
| Размер чипа (мм2) | 331 | < 625 | < 700 | < 400 | 300—350 | |||
| Встроенная память (Мб) | 28 | 32 | 32 | 32 | 48 | 48 | ||
| Тактовая частота (МГц) | 700 | 700 | 940 | 1050 | 1750 | |||
| Оперативная память | 8 Гб DDR3 | 16 Гб HBM | 32 Гб HBM | 32 Гб HBM | 16 Гб HBM2 | 95 Гб HBM2 | 32 Гб | 192 Гб HBM |
| Пропускная способность памяти | 34 Гб/с | 600 Гб/с | 900 Гб/с | 1200 Гб/с | 819 Гб/с | 2765 Гб/с | 1640 Гб/с | 7,37 Тб/с |
| Тепловая схема питания (Вт) | 75 | 280 | 220 | 170 | ||||
| TOPS (Трлн. операций в секунду) | 23 | 45 | 123 | 275 | 197 (bf16) 393 (int8) | 459 (bf16) 918 (int8) | 918 (bf16) 1836 (int8) |
4614 (fp8) |
| TOPS/Вт | 0.31 | 0.16 | 0.56 | 1.62 | 4.7 |
Примечания
[править | править код]- 1 2 Google's Tensor Processing Unit explained: this is what the future of computing looks like. TechRadar (англ.). Архивировано 26 февраля 2022. Дата обращения: 24 мая 2017.
- 1 2 3 Jouppi, Norm. Google supercharges machine learning tasks with TPU custom chip (англ.). Google Cloud Platform Blog. Google (18 мая 2016). Дата обращения: 22 января 2017. Архивировано 18 мая 2016 года.
- ↑ Armasu, Lucian. Google's Big Chip Unveil For Machine Learning: Tensor Processing Unit With 10x Better Efficiency (Updated). Tom's Hardware (19 мая 2016). Дата обращения: 26 июня 2016. Архивировано 20 июня 2016 года.
- ↑ The Future of Go Summit, Match One: Ke Jie & AlphaGo на YouTube, начиная с 6:03:10 (23 мая 2017)
- ↑ Norman P. Jouppi et al. In-Datacentre Performance Analysis of a Tensor Processing Unit (англ.). Дата обращения: 24 мая 2017. Архивировано 3 июля 2017 года. (44th International Symposium on Computer Architecture (ISCA), 2017)
- ↑ Ian Cutress (22 августа 2017). Hot Chips: Google TPU Performance Analysis Live Blog (3pm PT, 10pm UTC) (англ.). AnandTech. Архивировано 23 августа 2017. Дата обращения: 23 августа 2017.
- ↑ Jouppi, Norman P.; Yoon, Doe Hyun; Ashcraft, Matthew; Gottscho, Mark (14 июня 2021). Ten lessons from three generations that shaped Google's TPUv4i (PDF). International Symposium on Computer Architecture. Valencia, Spain. doi:10.1109/ISCA52012.2021.00010. ISBN 978-1-4503-9086-6. Архивировано из оригинала (PDF) 9 июня 2021. Дата обращения: 12 марта 2023.
- 1 2 System Architecture | Cloud TPU (англ.). Google Cloud. Дата обращения: 11 декабря 2022. Архивировано 11 декабря 2022 года.
- ↑ Kennedy, Patrick (22 августа 2017). Case Study on the Google TPU and GDDR5 from Hot Chips 29. Serve The Home. Архивировано 23 ноября 2021. Дата обращения: 23 августа 2017.
- ↑ Блок Google TPU второго поколения в задачах машинного обучения демонстрирует производительность выше, чем у GPU Nvidia GV100. iXBT.com (19 мая 2017). Дата обращения: 3 октября 2023. Архивировано 2 октября 2022 года.
- ↑ Google представила TPU 3.0 — тензорные процессоры третьего поколения. Overclockers.ru (9 мая 2018). Дата обращения: 3 октября 2023. Архивировано 3 ноября 2023 года.
- ↑ Stay tuned, more information on TPU v4 is coming soon Архивная копия от 12 марта 2023 на Wayback Machine, retrieved 2020-08-06.
- ↑ Google Cloud анонсировала новое поколение собственных ИИ-ускорителей TPU v5e. ServerNews.ru (30 августа 2023). Дата обращения: 3 октября 2023. Архивировано 20 сентября 2023 года.
- ↑ Expanding our AI-optimized infrastructure portfolio: Introducing Cloud TPU v5e and announcing A3 GA (англ.). Google Cloud (29 августа 2023). Дата обращения: 3 октября 2023. Архивировано 20 сентября 2023 года.
- ↑ Google представила Cloud TPU v5p — свой самый мощный ИИ-ускоритель. ServerNews.ru (7 декабря 2023). Дата обращения: 7 октября 2024. Архивировано 8 октября 2024 года.
- ↑ Шестое поколение ускорителей Google TPU v6 готово к обучению ИИ-моделей следующего поколения. ServerNews.ru (16 мая 2024). Дата обращения: 7 октября 2024. Архивировано 8 октября 2024 года.
- ↑ Google представила ИИ-ускоритель TPU v7 Ironwood, созданный специально для инференса «размышляющих» моделей. ServerNews.ru (9 апреля 2025). Дата обращения: 15 июня 2025. Архивировано 10 мая 2025 года.
- ↑ Google объявила о доступности фирменных ИИ-ускорителей TPU Ironwood и кластеров на их основе. ServerNews.ru (7 ноября 2025). Дата обращения: 19 ноября 2025. Архивировано 22 ноября 2025 года.
Ссылки
[править | править код]- Google поделилась подробностями истории создания ИИ-ускорителей TPU. Servernews.ru (28 августа 2024). Дата обращения: 7 октября 2024. Архивировано 8 октября 2024 года.
- Чип Google Tensor Processor упростит процесс машинного обучения и вернёт силу закону Мура. 3DNews. (21 мая 2016). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
- Подробности о тензорном сопроцессоре Google TPU. Servernews.ru (25 августа 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
- Блок Google TPU второго поколения в задачах машинного обучения демонстрирует производительность выше, чем у GPU Nvidia GV100. iXBT.com (19 мая 2017). Дата обращения: 3 октября 2023. Архивировано 2 октября 2022 года.