通常,我每天獲得的數據範圍應該超過100,000條記錄。但是,當我設置2 bigquery傳輸(每個所有者ID一個),使用相同的後綴,所以數據轉到同一個表。該傳輸缺少大量數據。設置2 youtube bigquery傳輸(每個擁有者ID一個),使用相同的後綴,因此數據會傳到同一個表中。傳輸中缺少大量數據
轉移狀態顯示成功,但有些日子我只獲得4000-5000條記錄而不是100,000條以上的記錄。但有些日子我得到了100,000條記錄。
問題1:
這是可能的BigQuery只傳輸傳輸完的部分數據?我的理解是bigquery轉移是「全部或沒有」。如果成功,那麼所有的轉移都完成了。如果失敗,則傳輸零記錄。
雖然,我確實在某些情況下看到bigquery失敗,但狀態顯示已完成。
問題2:
當我設置了兩個轉移,無論傳輸將數據發送到一個相同的表中,我可以看到巨大故障率增加。
在這個過程中,兩次傳輸有可能以某種方式相互衝突嗎?