BIGQUERY：分區數據過去的2000極限

Question

從分區表上的大量查詢頁面：

每個表最多可以有2000個分區。

我們計劃每天分割我們的數據。我們的大部分查詢都基於日期，但我們有大約5年的歷史數據，並計劃從現在開始每天收集更多。只有2000個分區：2000/365爲我們提供了大約5.5年的數據。

想要超過2000個分區的表的最佳做法是什麼？

• 每年創建一個不同的表並在需要時連接表？
• 是否可以按周或按月分區？
• 如果您要求支持，可以增加2000分區限制嗎？

Answer 1

我們正在執行2000個分區限制的過程（所以我們記錄了一點提前給我們的用戶提前通知）。所以這是一個軟限制。

創建大量分區具有性能影響，因此我們建議將表限制爲2000個分區。我們在這裏有一些空間，這取決於表格的模式，所以詢問支持是否可能增加是合理的。我們將根據我們認爲對該表進行的操作需要多少資源來審查它。

我們希望在未來的某個時候支持更多的分區（高達10K），但我們正在完成必要的設計和實施更改（目前我們還沒有ETA） ）。

Answer 2

關於你的問題「是否可以按周或按月進行分區呢？」，還有一個特點，要求獲得分區的類型更多的靈活性： https://issuetracker.google.com/issues/35905817

如果我們能夠也有INT作爲一種分區類型，那麼以YYYYMM的方式定義'月份分區'會很容易。