在應用引擎中處理大型雲存儲文件

我需要在GAE（我使用Python）中處理大文件，最大2GB。當然我會在後端運行代碼，但由於本地存儲不可用，數據將需要在內存中。在應用引擎中處理大型雲存儲文件

是否有像boto或其他雲存儲支持協議的包裝文件描述符？或其他推薦技術？

感謝，吉文

2013-04-21 Shay

您可以使用boto訪問S3。請查看此處的鏈接： http://stackoverflow.com/questions/3948391/is-is-possible-to-read-a-file-from-s3-in-google-app-engine-using-boto – 2013-04-21 07:31:40

你也許有趣的"Google Cloud Storage Python API Overview"。它像普通的本地文件一樣工作。我在我的項目中使用過它，並沒有遇到任何問題。

來源

2013-04-21 07:32:09

不幸的是，所提及的「文件API」已被棄用。官方後繼者GCS不像本地文件那樣行爲，因爲它缺少對修改/附加的支持。更新的解決方案？ – jsphpl 2015-11-04 12:51:04

@jsphpl，這裏是更新的鏈接：https：//cloud.google.com/appengine/docs/python/googlecloudstorageclient/ – 2015-11-05 12:12:16

感謝您的鏈接。我不知道如何說不同，所以請再次閱讀我的初步評論。 – jsphpl 2015-11-05 14:24:47

數據文件doesnt「需要在內存中」，如果你嘗試，你會運行OOM。如果您可以按順序打開它作爲文件流。我用blobstore做過，應該類似

來源

2013-04-21 19:49:36

在應用引擎中處理大型雲存儲文件

回答

相關問題