1
我目前使用大型查詢來存儲用戶信息,以計算大型日誌數據的聚合結果。但由於修改數據是不可能的。爲了克服這個問題,我計劃將每個用戶記錄存儲在單獨的表中。我知道bigquery支持從多個表中查詢使用我可以獲取所有信息。我對這裏的懷疑是Bigquery:數據集中的大量表格是否會影響性能?
- 隨着用戶數量的增長,性能將會下降,與將所有用戶存儲在單一表中相比。
- 如果有任何關於每個數據集表的數量在BIQ查詢
預先感謝
我目前使用大型查詢來存儲用戶信息,以計算大型日誌數據的聚合結果。但由於修改數據是不可能的。爲了克服這個問題,我計劃將每個用戶記錄存儲在單獨的表中。我知道bigquery支持從多個表中查詢使用我可以獲取所有信息。我對這裏的懷疑是Bigquery:數據集中的大量表格是否會影響性能?
預先感謝
從我所知道的侷限性 - 沒有對數據集表的數量沒有硬性限制。
同時 - 本地BQ UI對數據集中前10,000個表格的限制顯示。
需要考慮的另一個限制(只提幾個):
*每日更新限制:每天每桌1,000次更新;
*查詢(包括引用視圖)可以引用多達1,000個表格,而不是更多;
*查詢中涉及的每個附加表(包含數百和數百個表)會對性能產生相當大的影響。
*即使每個表是足夠小 - 它仍然會以分鐘的價格10MB(哪怕是隻有幾KB)的
不知道您的具體情況犯規允許做一些建議,但至少你」收費已經在你的問題中得到了答案。
總體而言,其每用戶表不好聽我
大答案的想法,另外一個評論......如果你有很多表的數據集使用TABLE_QUERY或TABLE_DATE_RANGE,你會越來越窮性能。 –