我們使用BigQuery作爲系統的分析引擎,爲報表準備數據。 根據我們的流程,數據的任何部分都可能發生變化,這也是2013-2015年的歷史數據,所以我們每天早上都會刪除並重新加載BigQuery中的所有表格。Big Query是否適應數據?
我們想了解我們的方法是否會降低性能或增加數據處理的成本。因爲它可能是BQ「適應」的表格內容,隨後的查詢變得更加高效。我不是在談論緩存,而是關於BQ在處理查詢時可能發現的一些數據重組,例如分區。
例如,大部分的查詢都與一個特定的年份,或值類型,所以BQ可能要跨越這些字段中的數據分區,一旦識別常見的查詢模式。
我證實了這一點Google BQ的行爲。即使數據未更改,查詢執行計劃也會隨時間變化。不幸的是,在我們的案例中,通配符表不是一種選擇,因爲我們使用自行生成SQL代碼的BI工具。 –