使用BigQuery更好地理解流式插入

據我所知，BigQuery流API已經發生了重大變化。正如我在5月14日星期四在谷歌雲團隊的消息中收到的那樣：使用BigQuery更好地理解流式插入

「2013年，我們推出了Google BigQuery流媒體API，可以輕鬆快速地分析大量數據。，2015年，當我們開始根據插入到BigQuery表中的行數收取流式傳輸數據到Google BigQuery時，從那時起，我們已經更多地瞭解到客戶如何使用Google BigQuery，並且2015年8月12日生效，我們將停止對谷歌BigQuery流進行收費，插入的行數將增加，並按插入的字節數計費，新的定價將爲每200 MB 0.01美元，每行最小計費大小爲1 KB我們增加了默認insert-速率限制從每表每行10000行減少到每行100,000行，此外，行大小限制已從20 KB增加到1 MB。 se更改將允許客戶在設計插入策略時獲得更大的靈活性，並更準確地反映流式插入功能提供的值。關於定價的更多信息，我們的定價頁上找到「

在此基礎上，我有幾個重要的問題：

有沒有一種方法可以輕鬆地查看在雲端控制檯的數據量是目前正在流入一個客戶的賬戶，另外，我是否應該在賬單表中包含一個單獨的行？在這裏詢問，因爲我在別處找過，沒有找到答案，在當前的賬單表中我也沒有看到任何幫助（見下文）現在的問題是這個用戶目前正在通過BigQuery每週推送許多Terrabytes的數據。

enter image description here

我想澄清其中指出「每行1 KB的最小計費尺寸。」線路如果大於1KB數據的每行通過少到表，這是否意味着您不收取該行的任何數據費用？

最後，有沒有一種快速的方法來計算變化的潛在財務影響，或者是否有任何指導，以編程方式優化流式插入調用以最小化成本？

在此先感謝您的幫助！

來源

2015-05-19 Nathaniel Payne

關於您的1）問題，我們在計費屏幕上看到了我們項目中的StreamingBytes條目，不確定爲什麼您沒有看到它：http://screencast.com/t/MF5Pz8tL – Pentium10

感謝您的確認和截圖！ –

我的規則的解釋，我與車隊確認：如果你的行小於1KB每個

，這將帶來從$ 0.01的價格每10萬行至$百份0.01 200,000行 - 一個將之前的定價降低50％。
如果您的行每次只有2KB，您將看不到任何價格變化。
如果行數大於2KB，則只會看到價格上漲。

更多好消息：系統不會再將每一行限制爲20KB，現在您可以將每行最多傳輸1 MB。

來源

2015-05-19 19:21:12

每個流式插入500行最近有點討厭，你應該增加10倍或200倍。 – Pentium10

@ Pentium10我很樂意通過反饋。通過電子郵件更多的背景信 –

最近推出了這個功能：每個請求的最大行數：500，如此處所示https://cloud.google.com/bigquery/streaming-data-into-bigquery在此10k行之前，罰款發送相同的鏡頭。我不明白這一舉措。 – Pentium10

使用BigQuery更好地理解流式插入

回答

相關問題