使用python下載大文件到谷歌雲存儲

Question

我在寫一個python GAE程序。我想要做的是使用HTTP協議下載文件並將其寫入Google雲存儲。

但如果我請求文件較大（超過1MB大），

url = urllib2.urlopen(link) 

將無法​​正常工作。

它總是拋出一個ResponseTooLargeError

這篇文章解釋了爲什麼顯示這個錯誤：

https://groups.google.com/forum/?fromgroups=#!topic/google-appengine/QEm-19vdcU4

但是它並沒有解決我的問題，這是下載一個大文件到雲存儲。

任何人都可以幫助我嗎？謝謝！

Answer 1

對URL Fetch的每個響應的限制是32MB。請參閱Python GAE SDK的quotas and limits部分。在App Engine中，您無法從一個大於該大小的請求中複製URL中的任何內容。現在，您可以使用GCS或Blobstore直接從本地文件存儲上傳更大的GAE到GAE，但不能通過從URL複製它。