2016-05-26 47 views
3

預覽我的數據流是可以在BigQuery的預覽我的數據流?這有可能在BigQuery的

我使用的BigQuery來存儲我流數據,但這些數據會去流緩衝,這意味着我無法預覽這些數據。在進行任何查詢之前,有什麼方法可以預覽此數據?

回答

2

如果問題出在成本上,您可以使用表裝飾器,它可以讓您掃描「最後x毫秒」,而不是執行整個表/列掃描。

例如,下面的查詢顯示了最後15分鐘GDELT紀錄,在132 MB成本(而不是2.91 TB沒有@-900000-裝飾):

SELECT * 
FROM [gdelt-bq:[email protected]] 
LIMIT 1000 
+0

我看到w ^但我在想,如果我只想將我的BigQuery交給我的同事,並且他們想自己做一些查詢,那麼他們可以在構建查詢之前可視化我的流式表結構。從你的答案,我想我會建立一個小型查詢他們想象我的表結構。 –

2

你可以看到通過流緩衝統計Tables: get API - 在streamingBuffer財產

或在網頁UI

enter image description here

+1

正如菲利普指出,你可以用範圍操作符那種假的吧,只要你最近沒有新增數據的任何其他方式。對於*空*(或小)表,你也可以使用'BQ head'在命令行上。流緩衝區的內容顯示了在tabledata.list操作,它只是不切實際的大表。 –

+0

對於我來說有點驚訝,緩衝區中的行可用於查詢。不知何故,我認爲他們不是在他們從緩衝區沖洗之前。我需要以某種方式測試這個讓自己對這個想法感到滿意的方式。感謝您爲我強調thi spoint –

+0

具體行爲記錄在這裏:https://cloud.google.com/bigquery/streaming-data-into-bigquery#dataavailability –