在插入BigQuery表之前檢查數據是否已經存在（使用Python）

我正在設置每日cron作業，該作業追加BigQuery表（使用Python）的一行，但是插入了重複數據。我已經在網上搜索，我知道有一種方法可以手動remove duplicate數據，但我想看看是否可以避免這種重複。在插入BigQuery表之前檢查數據是否已經存在（使用Python）

有沒有辦法檢查BigQuery表來查看數據記錄是否已經存在第一個爲了避免插入重複數據？謝謝。

代碼片段：

import webapp2 
import logging 
from googleapiclient import discovery 
from oath2client.client import GoogleCredentials 

PROJECT_ID = 'foo' 
DATASET_ID = 'bar' 
TABLE_ID = 'foo_bar_table’ 

class UpdateTableHandler(webapp2.RequestHandler): 
    def get(self): 
     credentials = GoogleCredentials.get_application_default() 
     service = discovery.build('bigquery', 'v2', credentials=credentials) 

    try: 

    the_fruits = Stuff.query(Stuff.fruitTotal >= 5).filter(Stuff.fruitColor == 'orange').fetch(); 

    for fruit in the_fruits: 
     #some code here 

    basket = dict() 
    basket['id'] = fruit.fruitId 
    basket['Total'] = fruit.fruitTotal 
    basket['PrimaryVitamin'] = fruit.fruitVitamin 
    basket['SafeRaw'] = fruit.fruitEdibleRaw 
    basket['Color'] = fruit.fruitColor 
    basket['Country'] = fruit.fruitCountry 

      body = { 
       'rows': [ 
        { 
         'json': basket, 
         'insertId': str(uuid.uuid4()) 
        } 
       ] 
      } 

      response = bigquery_service.tabledata().insertAll(projectId=PROJECT_ID, 
                   datasetId=DATASET_ID, 
                   tableId=TABLE_ID, 
                   body=body).execute(num_retries=5) 
      logging.info(response) 

    except Exception, e: 
     logging.error(e) 

app = webapp2.WSGIApplication([ 
    ('/update_table', UpdateTableHandler), 
], debug=True)

來源

2016-10-04 fragilewindows

似乎搜索會很昂貴，除非數據在過去的24小時內，然後只搜索該分區。 –

只有這樣，才能測試數據是否已經存在是運行一個查詢。

如果表中有大量數據，該查詢可能很昂貴，所以在大多數情況下，我們建議您繼續並插入重複項，然後再合併重複項。

正如Zig Mandel在評論中建議的那樣，您可以通過日期分區查詢是否知道預計要查看記錄的日期，但與插入和刪除重複項相比，這仍然很昂貴。

來源

2016-10-04 16:28:25

在插入BigQuery表之前檢查數據是否已經存在（使用Python）

回答

相關問題