BigQuery Streaming插入的預期'攝取'時間是什麼？

Question

這聽起來像是this year-old issue的重複，但我想知道BQ團隊是否有更深入的瞭解爲什麼流式插入可能需要這麼長時間。 （我只用了一個小時，僅用了9K行）。

不確定它是否相關，但我正在做的唯一'不尋常'事情是使用python-pandas'to_gbq'功能。我實際上與@felipehoffa合作撰寫了這種方法（請參閱https://github.com/pmueller1/s3-bigquery-conga）。我使用if_exists ='append'指令，但延遲發生在第一次嘗試（即表尚未創建時）。不知道這是否有幫助，但認爲我會把它扔出去。

Answer 1

想想我必須在這個帖子上發表我自己的回答。我們在流媒體上反覆獲取8小時+錄製時間，因此我們轉而使用更便宜，更可靠的「加載」功能來處理我們的文件。我是一位非常出色的BigQuery用戶，但流媒體尚未準備好迎接黃金時段。我們不能把手指放在什麼地方，但是當它起作用時，它很好用。如果沒有，那麼等待時間太長以至於無法獲得您的數據。在我們可以區分哪種情況會發生之前，我們現在有點避開它。