Google объявила, что функция Query Queues (очереди запросов) теперь доступна в предварительной версии для клиентов по требованию и фиксированной ставке. После подключения запроса Google BigQuery автоматически определяет параллельность запросов, а не устанавливает фиксированный лимит.
Клиенты, работающие по фиксированной ставке, имеют возможность переопределить эту настройку, установив пользовательское значение параллелизма. Дополнительные запросы, превышающие заданное значение параллелизма, ставятся в очередь до тех пор, пока не освободятся ресурсы обработки.
При создании и использовании современных хранилищ данных на базе SaaS способность предоставлять большое количество данных многим пользователям и обеспечивать параллельные запросы является одним из наиболее важных факторов.
Более новые и, как правило, облачные технологии хранилищ данных решают проблему высокого уровня одновременности за счет хорошей масштабируемости и позволяют компаниям выполнять анализ данных в больших масштабах. Обычно BigQuery ограничивает количество одновременно выполняемых интерактивных запросов до 100. Запросы, превышающие это значение, возвращают ошибку квоты.
С включением новой функции — Query Queues — BigQuery динамически определяет параллелизм запросов на основе доступных вычислительных ресурсов. Пользователь может опционально указать значение параллелизма для резервирования, чтобы гарантировать, что каждому запросу будет выделено минимальное количество слотов. Дополнительные запросы ожидают в очереди, пока не будет достаточно ресурсов для начала выполнения:
Важным критерием для хранилищ данных является возможность одновременной работы многих пользователей. Управлять несколькими пользователями легко, а вот масштабироваться до тысяч сложно. Каждый должен иметь возможность работать с одними и теми же данными в режиме реального времени, не оказывая негативного влияния на других. К тому же ни одному пользователю не хотелось бы получать ошибку квоты.
Именно из этого исходила компания Google, подключая Query Queues для BigQuery. Пользователям, возможно, придется ждать немного дольше, но они не будут получать ошибки. Это полезное функциональное расширение. Пока, как уже было отмечено, новшество доступно в превью-версии, но, как правило, все новые функции вскоре становятся общедоступными.
Читайте также:
- Как автоматизировать сравнение датасетов с Terraform и BigQuery
- Как создать бота для автоматизации повседневных задач, с помощью Python и Google BigQuery
- 5 уникальных подходов Google к инженерии данных
Читайте нас в Telegram, VK и Яндекс.Дзен
Перевод статьи Christianlauer: BigQuery now supporting Query Queues
