谷歌應用程序引擎：高效的大型刪除（約90000 /天）

Question

我有一個應用程序只有一個模型與兩個StringProperties。

實體的初始數量約爲1億（我將使用批量加載器上載這些數據）。

每24小時我必須刪除約70000個實體並添加100000個實體。我現在的問題是：刪除這些實體的最佳方式是什麼？

無論如何避免在刪除它之前獲取實體？我無法找到做這樣的事情的一種方式：

DELETE from xxx WHERE foo1 IN ('bar1', 'bar2', 'bar3', ...) 

我認識到，應用引擎提供IN子句（雖然爲30的最大長度（因爲各個請求的每個GQL查詢1的最大數量） ），但對我來說，仍然看起來很奇怪，因爲我將不得不獲取x實體，然後再次刪除它們（每個實體進行兩次RPC調用）。

注意：如果未找到該實體，則應忽略該實體。

編輯：有關問題

補充信息這些實體只是域。第一個字符串是SLD，第二個字符串是TLD（沒有子域）。該應用程序可用於執行如下http：// [...] /available/stackoverflow.com的請求。該應用程序將返回一個True/False json對象。

爲什麼我有這麼多實體？因爲數據存儲包含所有註冊的域（現在爲.com）。由於TOS和延遲，我無法在每種情況下執行Whois請求。因此，我最初使用整個區域文件填充數據存儲，然後每天添加/刪除已註冊/刪除的域...問題是，這些數量非常大，我必須找出一種方法來降低成本並每天添加/刪除2 *〜100000個域名。

注意：幾乎沒有任何計算正在進行，因爲可用性請求只是簡單地檢查數據存儲中是否存在域！

1：'任何單個GQL查詢最多允許30個數據存儲查詢。' （http://code.google.com/appengine/docs/python/datastore/gqlreference.html）

Answer 1

如果不這樣做，你就應該使用key_names這一點。

你會希望有一個模型是這樣的：

class UnavailableDomain(db.Model): 
    pass 

然後，你將填充您的數據存儲，如：

UnavailableDomain.get_or_insert(key_name='stackoverflow.com') 
UnavailableDomain.get_or_insert(key_name='google.com') 

然後，你將可用的域名查詢的東西，如：

is_available = UnavailableDomain.get_by_key_name('stackoverflow.com') is None 

然後當你需要刪除一堆域名，因爲它們已經可用了，你可以建立鍵，而不必查詢數據庫中的大名單首先想：

free_domains = ['stackoverflow.com', 'monkey.com'] 
db.delete(db.Key.from_path('UnavailableDomain', name) for name in free_domains) 

我還是建議刪除配料成類似200元RPC，如果你的free_domains名單真的大

Answer 2

你有沒有考慮過appengine-mapreduce庫。它配備了流水線庫，你可以同時利用到：

• 創建，你將通過cron運行的總任務管道每24小時
• 的「整體」管道將啓動過濾你的實體映射器並在刪除映射器完成後產生刪除操作
• 「總體」管道可以調用「導入」管道來開始運行實體創建部分。
• 管道API可以向您發送一封電子郵件，報告它的狀態