谷歌模塊/後端令人沮喪的行爲

Question

我正在與GAE合作，並且我正在嘗試處理一個大的zip文件（大約150mb壓縮，500解壓縮），我需要每天爲我的應用程序進行處理。

我創建了一個模塊，用於從Google雲端存儲中加載文件並對其進行解析，並將這些信息保存在Google Datastore中。問題在於它會在幾分鐘內關閉，而且我基本上失去了我在文件中的位置。我給實例綽綽有餘的CPU /內存，所以這不是問題。

有沒有辦法處理這個問題？處理關機的文檔是相當有限的，看起來關機請求甚至不能保證..我覺得GAE無法處理大約150MB的文件，GAE也不能保證10-15分鐘的正常運行時間一次。有沒有辦法解決這些限制？謝謝..

編輯：

爲什麼當我去加載我模塊（[模塊名] [APPNAME] .appspot.com的。），它加載所有可用實例：

的documentation狀態

「http://module.app-id.appspot.com 將請求發送給娜的默認版本的可用實例med模塊（使用循環調度）。「

Answer 1

您是否確實測量過有足夠的內存？如果你將500Mb解壓縮到內存中，那就太多了。

我在內存不足時看到了這種情況。我會建議嘗試一個更小的測試文件。如果可行，請嘗試實現一個流式解決方案，其中文件的大小無關緊要，因爲它永遠不會加載到內存中。