2017-08-11 39 views
2

讓我們考慮我有更新/加載同一個表的多個作業。根據信號量概念,如果任何一個進程正在將數據加載到表中,則其他進程將等待該表的資源獲得空閒。我想知道是否有使用數據流將數據加載到BigQuery表中的信號量概念?如果是,那麼如何使用數據流處理BigQuery表加載的這種情況?Bigquery是否保持併發

回答

0

我不認爲數據流具有表活動的知識,他們只是將所請求的更新作爲Job發送給bigquery。

Bigquery接收到該作業,然後將其發送到給定表的隊列中。所以所有的「信號量概念」都是由bigquery和給定的表內部處理的。

例如,假設並行地運行三個更新表的查詢,其中兩個通過數據流運行,另一個通過腳本運行。

這三個人按照他們到達bigquery的順序依次進入同一隊列和bigquery進程(一個接一個完成)。