3
我遇到了GAE後端和任務隊列的問題。基本上會發生的是，在後端在幾分鐘內完成幾次url獲取調用之後，任務開始陷入停滯狀態，甚至無法啓動。執行率下降到0.10/s，隊列幾乎不動。如果我重新啓動後端實例，它只會開始移動，但只能再次達到0.10/s強制執行速率。Google App Engine：後臺在獲取大量網址後卡住了
我目前正在開發GAE項目，要求應用程序遍歷70000個URL，檢索HTML，檢查HTML中的值，並根據HTML中的值更新數據存儲區中的某些記錄。
該實現涉及一個cron作業，每分鐘需要大約300個URL，將它們拆分爲10，並將它們分配給任務隊列中的不同任務。每個任務遍歷他們的10個URL，處理內容。
我正在運行B4靜態後端實例。任務隊列速率爲5 /秒。最大併發請求數爲8. 我嘗試添加任務老化，但它沒有幫助。
---- 2013年10月19日----
編輯：我嘗試註釋掉了大量的代碼和縮小的問題URL抓取。顯然，當我刪除URL獲取時，事情運行非常順利。不過，我不確定如何解決這個問題，因爲我非常確定我關閉了所有連接相關的資源。