BigQuery - decyphering'超出配額'消息

我遇到了這個消息，並且我不清楚許多配額中哪一個超出了。我的方法具有：BigQuery - decyphering'超出配額'消息

80螺紋（蔓延超過8噸的機器）
< 50記錄/插入
〜5K /記錄
1秒延遲/插入
插入〜100個不同的表（取決於具體記錄 - 同一表的記錄被分組在一起）

給我這是：

<最大行大小（1MB）
<最大行數/秒（100K /表和1M /項目）
<最大行數/請求（〜500）
<最大字節數/秒（100Mb）

我看輸出：bq --project <proj name> ls -j -a。這給了我工作和成功/失敗。在這裏，我看看使用bq --project <proj name> show -j <jobId>

錯誤輸出結果有這些行：在別的地方看

"status": { 
"errorResult": { 
    "location": "load_job", 
    "message": "Quota exceeded: Your project exceeded quota for imports per project. For more information, see https://cloud.google.com/bigquery/troubleshooting-errors", 
    "reason": "quotaExceeded" 
}, 
"errors": [ 
    { 
    "location": "load_job", 
    "message": "Quota exceeded: Your project exceeded quota for imports per project. For more information, see https://cloud.google.com/bigquery/troubleshooting-errors", 
    "reason": "quotaExceeded" 
    } 
],

建議？我算錯了嗎？也許更好的方式來組織線程/數據？

來源

2016-07-25 ethrbunny

貌似Load Quotas相關

漲停：每桌1000個加載作業每天（包括故障），每人每天的項目（包括故障）

行和單元的大小限制萬組負荷的工作：

Data format  Max limit 
CSV    2 MB (row and cell size) 
JSON   2 MB (row size) 
Avro   16 MB (block size)

每個負載工作最大尺寸：橫跨用於CSV和JSON
每個負載工作的最大文件數：10,000

最有可能的是Daily limit你在找什麼

來源

2016-07-25 17:11:01

我可以看到，如果工作開始失敗，然後*保持失敗*。但他們沒有。通常我會看到幾個成功的消息穿插在失敗中。事實上，有時候其實不少。 – ethrbunny

我可以猜測，僅僅使用24小時就可以與日曆日相比較，所以這可以解釋您看到的內容。在任何情況下 - 您可能需要將jobid添加到您的問題 - 所以BigQuery團隊中的某個人將能夠檢查您的工作究竟發生了什麼 –

在此處發佈工作ID是否安全？來自BQ團隊的反饋確實是神聖的。 – ethrbunny

你是如何加載數據？看來你正在使用jobs.insert而不是tabledata.insertAll。

jobs.insert在批處理模式下加載數據。正如Mikhail所說，如果您使用的是jobs.insert方法，則每張表的進口限額爲1,000 - 大約每90秒一個。

tabledata.insertAll允許您將數據流式傳輸到表中，這裏是適用每表限制100k行每表限制的行數。請注意，此方法具有相關的成本，而第一批是免費的。

來源

2016-07-25 17:36:55

「API Manager」視圖報告（超過24小時）：insertAll - 〜24K（62％）insert - 〜14K（36％）。這兩種類型的命令都分佈在大約50-100張表格中，所以當「批量」限制在概念上被打到時，這些錯誤在啓動這個過程的一兩個小時內就顯現出來了。 – ethrbunny

BigQuery - decyphering'超出配額'消息

回答

相關問題