2017-09-29 35 views
-1

通常,我每天獲得的數據範圍應該超過100,000條記錄。但是,當我設置2 bigquery傳輸(每個所有者ID一個),使用相同的後綴,所以數據轉到同一個表。該傳輸缺少大量數據。設置2 youtube bigquery傳輸(每個擁有者ID一個),使用相同的後綴,因此數據會傳到同一個表中。傳輸中缺少大量數據

轉移狀態顯示成功,但有些日子我只獲得4000-5000條記錄而不是100,000條以上的記錄。但有些日子我得到了100,000條記錄。

問題1:

這是可能的BigQuery只傳輸傳輸完的部分數據?我的理解是bigquery轉移是「全部或沒有」。如果成功,那麼所有的轉移都完成了。如果失敗,則傳輸零記錄。

雖然,我確實在某些情況下看到bigquery失敗,但狀態顯示已完成。

問題2:

當我設置了兩個轉移,無論傳輸將數據發送到一個相同的表中,我可以看到巨大故障率增加。

在這個過程中,兩次傳輸有可能以某種方式相互衝突嗎?

回答

0

好的。

我確認了。

例如,我有賬戶1和賬戶2

  1. 流水賬1的轉會,我得到了100,000行。
  2. 運行帳戶2的轉移,我得到了5000行。

但是我設置了兩個帳號1的傳輸和帳戶2的傳送到同一個表(相同後綴)

  1. 我跑帳戶1轉,我得到了100,000行。
  2. 然後我運行帳戶2傳輸,我失去了剛剛由帳戶1傳輸生成的100,000行,但是我生成了5000行帳戶2。

由BigQuery的專家諮詢會。是。我無法設置兩個傳輸將數據轉儲到一個表。由於bigquery傳輸回填是「刪除並插入」。

相關問題