2013-04-22 48 views
5

我們現在的約4個月運行的BigQuery和我們有一些有趣的觀察和問題有關pricings:Bigquery定價變化?

  1. 定價模型是需要解釋的加入相當不明,工會等
  2. 如果我跑加盟在小桌子上,我的數據處理將增加每個副本的內部大查詢引擎內乘以小表的副本?
  3. 如果我在查詢中重複使用相同的子查詢,這是新的數據處理,無論它是否是相同的子查詢?這可以以任何方式進行優化嗎? bigquery不會緩存它的數據嗎?
  4. 是否有數據處理取整的最小尺寸?我們的觀察認爲它是4MB,這是正確的嗎?
  5. 在Google控制檯中存在地理位置問題,它表示大多數查詢都是由CA完成的,因爲我的公司在歐洲,而且所有的開發工作都在那裏完成,所以這是不正確的。我檢查了所有IP地址,並且沒有CA IP。是否有可能獲得更詳細的報告?
  6. 關於5,我們希望得到每個查詢的歷史和價格。我們應該怎麼做?我們的軟件必須這樣做嗎?
  7. 關於3)我有數據處理這個巨大的問題(這就是爲什麼我問所有問題)。我的整個數據集大約150mb,但每個查詢的DP大小是3倍大?如果bigquery讀取我的整個數據,它將無法達到處理數據時顯示的大小。什麼時候所有數據將被重新讀取並因此發生新的DP?你怎麼數這個?

謝謝。

問候, 托米斯拉夫

+0

這是否有任何特殊原因被低估? – 2013-04-22 08:40:25

+0

我upvoted所以它在0 – 2013-04-22 10:26:22

回答

3
  1. 定價是連接,聯合等任何來源的數據需要被讀取,非常簡單,被收取一次。例如,如果您進行自我加入,您仍然只需要收取一次數據讀取費用。
  2. 參見#1。無論內部有多大查詢,你只應該收取一次費用。
  3. BigQuery在盡力而爲的基礎上緩存數據。如果您重新運行查詢,則會檢查緩存。如果存在緩存命中,則不會因重新運行查詢而收取費用。請注意,只有完整的查詢結果才被緩存;如果修改該查詢或在子查詢中使用該查詢,則不會使用該緩存。
  4. BigQuery最多可遞增1MB,最小爲10 MB。
  5. 我不知道在谷歌控制檯的任何地理位置。你在哪裏看到這些信息?
  6. 您可以通過jobs.list api獲取查詢歷史記錄和每個數據處理的數據量。
  7. 您可以發送您運行的查詢的作業ID大於預期的作業ID。完成的計算是 8字節*(讀取的整數和浮點數列的行數)+ 2個字節*(讀取的字符串列中所有字符串的總長度)。

讓我知道這是否回答你的問題。

+0

答案3太含糊。如果我們可以將舊的(緩存的)查詢與新的查詢結合起來,並且仍然從緩存中獲得成本收益,我們也會感興趣。但是,只要您向舊查詢添加新的子查詢,就會收取費用,就像沒有任何內容被緩存一樣。 – 2016-01-16 13:56:03

+1

澄清,我希望。 – 2016-01-20 20:47:06

+0

我會爲#4添加 - 每個參與表的最小計費大小爲10MB – 2016-01-20 21:13:04

0

我可以爲#5提供說明。

在Google API控制檯的REPORTS下,存在與項目的API請求有關的人口統計信息。我懷疑這與BigQuery本身有關,而與Google API控制檯有關。