如何加快App Engine批量下載器的速度？

Question

我試圖使用App Engine bulkloader從數據存儲中下載實體（如果它很重要，則爲高複製）。它可以工作，但速度很慢（85KB/s）。是否有一些神奇的參數可以讓它更快？我每分鐘收到約5MB /分鐘或20,000條記錄，並且考慮到我的連接速度可以達到1MB /秒（並且希望App Engine的服務速度可能會比這更快），但必須有辦法更快地完成此操作。

這是我目前的命令。我試過高數量，低數，每置換：

appcfg.py download_data 
--application=xxx 
--url=http://xxx.appspot.com/_ah/remote_api 
--filename=backup.csv 
--rps_limit=30000 
--bandwidth_limit=100000000 
--batch_size=500 
--http_limit=32 
--num_threads=30 
--config_file=bulkloader.yaml 
--kind=foo 

我已經嘗試過這個 App Engine Bulk Loader Performance ，它的速度不能超過我已經有了。他提到的這個數字與我所看到的數字一致。

在此先感謝。

Answer 1

您是否在您嘗試下載的實體的關鍵字上設置了索引？
我不知道這是否有幫助，但檢查是否在下載開始時得到一個警告，提示「使用順序下載」

將此置於index.yaml上以創建實體索引鍵上傳並等待索引建立。

- kind: YOUR_ENTITY_TYPE 
    properties: 
    - name: __key__ 
    direction: desc