Bigquery streaming API超時錯誤

我們使用bigquery streaming API。一切都很順利，直到最近（無需更改代碼） - 在過去的幾個小時內，我們得到許多這樣的錯誤：Bigquery streaming API超時錯誤

「API調用urlfetch.Fetch（）時間太長迴應並取消回溯（最新最後調用）：文件「/基/數據/家/運行時間/ python27」

或

「已逾期，而等待來自URL HTTP響應」

插入調用在python延遲進程上完成，並在等待後再次重試。

問題：

我們怎樣才能檢查它是否是我們內部的問題，或者與大查詢的一個普遍問題？
我們可以增加5000超時嗎？

來源

2014-04-03 James

您是否能夠獲得jobId，如果有的話請發佈。 – Pentium10

你在appengine中運行嗎？如果是這樣，你可以這樣做：

from google.appengine.api import urlfetch 
urlfetch.set_default_fetch_deadline(60)

這就是說，流食入不應該在任何地方接近默認的5第二個錯誤。流媒體攝取存在網絡配置問題，現在應該解決。

你還在看問題嗎？

來源

2014-04-03 22:47:52

是的。使用App引擎，但我不直接導入urlfetch。我應該在哪裏添加導入？順便說一句 - 錯誤的頻率顯着下降，但仍然有2個這樣的錯誤今天超過5000毫秒。平均通話時間爲500-600ms，最高可達1000ms。 – James

在接受的答案中給出的python示例使用類似的代碼：[link]（http://stackoverflow.com/questions/22049248/how-to-use-bigquery-streaming-insertall-on-app-engine-python ）。這就是爲什麼我不知道在哪裏添加上面提到的擴展urlfetch默認截止日期的函數。 – James

確實〜600ms將~90個字段（一個raw）插入流中的bigquery有意義嗎？ – James

Bigquery streaming API超時錯誤

回答

相關問題