上傳表格後運行批處理作業

Question

我需要在新上傳的表格上處理批處理作業（使用php和csv）。

目前我每週運行的過程是上傳兩個表（一個是〜400000行和〜24MB數據，其次是〜7000行和〜627 kb數據），然後安排具有批量優先級的查詢來處理上傳來自這些表的數據並將結果保存到新表中。

當我試圖在白天運行批量查詢時，它通常需要我運行一些很大的延遲，如20分鐘左右。問題是，在上傳過程中，bigquery幾乎立即運行它們，因此拋出「Table not found error」並跳過其中的一部分。

最近上傳： 上傳表1「job_75ae1fa6db89418b8fe2b6c443501246」 上傳表2「job_a79c39ae528944848fab85650b94a5d7」 一個批處理作業數量，以顯示最近的錯誤是「job_dd18580ccb51486dabf82d1d408a3199」

問題是 - 這種行爲正確的批處理工作？有沒有辦法預測/安排他們的執行時間，或者我只需要將他們分開並在不同的時間運行？

Answer 1

對於何時發生批處理作業，您顯然沒有得到很多保證。我會認真對待這一點。但是，您可以使用get來確定它何時發生。

批處理作業的要點是，它們可以在本來空閒的機器上運行。沒有人提前知道這些機器的可用性。如果這對您來說是個問題，請不要安排批處理作業。