找出每個字段在Google Big Query中佔用的空間量

Question

我想優化Big Query和Google存儲表的空間。有沒有辦法很容易地找出表中每個字段的累積空間？對我來說這不是直接的，因爲我有一個複雜的層次結構，有許多重複的記錄。

Answer 1

您可以通過下面簡單的查詢輸入（而不是運行）改變自己的興趣

SELECT <column_name> 
FROM YourTable 

的領域，尋找到驗證消息是由各自的尺寸在Web UI做

重要 - 你不需要運行它 - 只需檢查bytesProcessed的驗證消息，這將是相應列的大小

驗證是免費的，並調用所謂的幹運行

如果你需要做這樣的「列剖析」了多個表或與許多列的表 - 您可以使用Tables.get API讓您的首選語言代碼這個table schema;然後循環通各個領域和各個建設SELECT語句，最後Dry Run它（循環爲每列內），並得到totalBytesProcessed正如你已經知道的是各個欄的大小

Answer 2

我不認爲這是暴露在任何元數據。 但是，您可以根據自己的需要輕鬆獲得很好的近似值。提供了行數，因此對於某些數據類型，您可以直接計算大小： https://cloud.google.com/bigquery/pricing

對於字符串等類型，您可以通過查詢例如字符串來獲取平均長度。前1000個字段，並將其用於存儲計算。