BigQuery

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску

BigQuery — это RESTful веб-сервис для интерактивного широкомасштабного анализа больших наборов данных, расположенных в Google Storage. Есть инфраструктура как услуга (IaaS), которую можно использовать вместе с MapReduce.

История[править | править код]

После ограниченного периода тестирования в 2010 году BigQuery стал доступен широкой публике в ноябре 2011 года на конференции Google Atmosphere.[1] В 2014 году MapR представила проект Apache Drill для решения подобных задач.[2] В апреле 2016 года случился 12-часовой сбой в работе службы для европейских пользователей.[3] В мае 2016 года была объявлена ​​поддержка Google Sheets.[4]

Архитектура[править | править код]

BigQuery предоставляет внешний доступ к технологии Dremel[en][5][6] — масштабируемой, интерактивной специальной системе запросов ad hoc для анализа данных, доступных только для чтения. Для использования данных в BigQuery сначала их необходимо загрузить в Google Storage, а затем импортировать с помощью BigQuery API HTTP. BigQuery требует аутентификации для всех запросов с использованием ряда механизмов аутентификации, подобных OAuth.

Особенности[править | править код]

  • Управление данными — создание и удаление таблиц на основе JSON-схемы, импорт данных в формате CSV или JSON с Google Storage.
  • Запросы — для запросов используется стандартный диалект SQL[7], а результат возвращается в формате JSON с максимальным размером ответа примерно 128 MB или неограниченного размера в зависимости от настроек.[8]
  • Интеграция — BigQuery можно использовать в Google Apps Script[9] (например, как скрипт для Google Docs) или на любом языке, который работает с REST API или клиентскими библиотеками[10].
  • Контроль доступа — это возможность предоставлять доступ к данным произвольным лицам, группам или любому.

Примечания[править | править код]

  1. Iain Thomson. Google opens BigQuery for cloud analytics: Dangles free trial to lure doubters (November 14 2011). Дата обращения 26 августа 2016.
  2. Neil McAllister. Is your data boring? MapR wants you to bore it back with Apache Drill: New release adds support for Google-y SQL-on-Hadoop tech (September 16, 2014). Дата обращения 26 августа 2016.
  3. Simon Sharwood. Google Euro -cloud glitch (April 7, 2016). Дата обращения 26 августа 2016.
  4. Jordan Novet. Google BigQuery now lets you analyze data from Google Sheets (May 6, 2016). Дата обращения 26 августа 2016.
  5. Dremel: Interactive Analysis of Web-Scale Datasets. Proc. of the 36th International Conference on Very Large Data Bases (VLDB).
  6. Kazunori Sato. An Inside Look at Google BigQuery. Google (2012). Дата обращения 26 августа 2016.
  7. SQL Reference. Дата обращения 26 июня 2017.
  8. Quota Policy. Дата обращения 26 июня 2017.
  9. BigQuery Service. Apps Script. Google Developers (March 15, 2018). Дата обращения 23 апреля 2018.
  10. BigQuery Client Libraries. Дата обращения 26 июня 2017.