BigQuery表格號碼不斷增長 - 如何阻止它？

Question

我們已經整理了3個月的日誌信息，信息量巨大，因爲所有這些表都有日誌條目，我們希望擺脫最舊的條目以及存儲條目的表。

我們嘗試了使用bq命令工具或發出API休息服務請求的不同方法。我們已經成功了。

現在，問題是：是否有更適合的工具可以簡化BigQuery中日誌表的管理？我正在考慮在Unix/Linux SO上使用類似logrotate的工具。

Answer 1

我們正在使用的「工具」是在數據集級別設置的到期日期。它的工作原理與您預期的不會有任何進一步的參與一樣。
假設你設置了90天。
任何新表「automaticaly」自其創建以來都設置爲90天。在https://cloud.google.com/bigquery/docs/reference/v2/datasets

Answer 2

感謝響應

請參閱 「defaultTableExpirationMs」 這是非常有用的。文檔中有一個隱藏的細節，從我的角度來看它有點不清楚。

對於那些想要設置defaultTableExpirationMs您需要指定以秒爲單位的過期而不是毫秒。該值將被添加到表創建時間。

我發出的命令波紋管和工作對我來說：

bq update --default_table_expiration 5184000 -d your_project:data_set

注：該表將保留2個月長（5184000 = 60 * 60 * 24 * 60）。