激勵使用批查詢而不是交互模式查詢是定價,但隨着新的價格變化,沒有成本差異了 - 所以有任何其他獎勵(配額,性能,其他... ...)使用批次查詢?什麼時候應該比交互式分析更喜歡批量分析?
14
A
回答
12
隨着價格的變化,也有使用批量優先級主要有兩個原因:
- 它可以讓你排隊,你的工作。
- 它允許您以不影響高優先級查詢的方式運行低優先級查詢。
有一些影響交互式(即非批處理)查詢的速率限制 - 最多可同時運行20個,併發字節限制和「大查詢」限制。如果遇到這些限制,則查詢將立即失敗。這是因爲BigQuery假定交互式查詢是您需要立即運行的。
當您使用批處理時,如果您遇到速率限制,則查詢將排隊並在稍後重試。還有類似的費率限制,但它們與交互式費率限制分開運行,所以您的批量查詢不會影響您的交互式費率限制。
一個例子可能是您每天或每小時運行一次定期查詢來構建儀表板。也許你有100個你想運行的查詢。如果您嘗試以交互式方式一次全部運行它們,則有些會因爲併發速率限制而失敗。此外,您不一定希望這些查詢干擾您從BigQuery Web UI手動運行的其他查詢。因此,您可以按批處理優先級運行儀表板查詢,其他查詢將以交互方式正常運行。
另一點需要注意的是批量查詢的調度已經改變,所以平均等待時間應該大大減少。而不是等待半小時左右,批量查詢應該在一兩分鐘內開始(取決於排隊等)。
相關問題
- 1. 什麼時候應該比方法更喜歡財產?
- 2. Facebook的社交網絡分析/喜歡
- 3. 什麼時候應該更喜歡Mahout的SequentialAccessSparseVector而不是RandomAccessSparseVector?
- 4. Hadoop批量分析與Hadoop實時分析有什麼區別
- 5. 什麼時候比Lisp更喜歡make符號
- 6. 什麼時候應該比較喜歡CursorAdapter而不是ArrayListAdapter,以及什麼時候會反向?
- 7. 什麼時候應該將JSON分成更小的部分?
- 8. F#交互式和性能分析器
- 9. 交互式統計分析工具
- 10. 什麼時候更喜歡主從,何時集羣?
- 11. 什麼時候應該使用分散/聚集(矢量化)IO?
- 12. Erlang vs Haskell:什麼時候一個人比另一個更喜歡?
- 13. 什麼時候更喜歡顯式捕獲lambda而不是隱式捕獲?
- 14. Javascript時間選擇喜歡谷歌分析
- 15. 什麼時候應該在express-session中使用cookie解析器?
- 16. 什麼時候應該更新UI?
- 17. 爲什麼你更喜歡spacemacs比'惡'模式運行的emacs?
- 18. 什麼時候減少shift-reduce分析器?
- 19. 解析喜歡的log4j
- 20. 解析喜歡用SimpleXML
- 21. 無法批量分析變量
- 22. 狂歡商務Google分析更新
- 23. 爲什麼jslint喜歡在JavaScript中分割變量聲明?
- 24. Ruby分割和解析批量HTTP響應(多部分/混合)
- 25. 什麼是分析變量名稱?
- 26. 我應該學習和尋找如果我喜歡建立流量整形器和分析器
- 27. 一個時候應該更喜歡「上創建設置...」使用LOAD CSV
- 28. Elasticsearch分析百分比
- 29. 詞法分析器需要「不」而不是「不喜歡」
- 30. 什麼時候應該在堆上分配? (C++)
實際上,我如何估計當我組建一個新儀表板並需要添加定期查詢時,我的查詢是否會遇到併發字節限制? – foxwendy
實際上,這很難估計何時達到併發字節數限制。請注意,有一個錯誤,我們定期點擊shuffle(JOIN EACH和GROUP EACH)查詢卡住,這可能會導致命中併發字節率限制。這是我們正在努力解決的優先級0問題。 –
謝謝@Jordan Tigani。 Row_number()over(partition by)是否遇到相同的shuffle問題?我想它是在場景後面以組的形式執行的,對嗎? – foxwendy