Scrapinghub作業失敗 - 無法診斷

Question

蜘蛛停在爬網中間（7小時後，20K請求）。工作狀態是「失敗」。即使日誌中沒有ERROR消息。日誌看起來像代碼剛剛停止在特定的代碼行範圍上運行，沒有報告任何錯誤。它發生在spider_idle方法覆蓋中。日誌已啓用，我可以看到所有前面的INFO消息指示蜘蛛正常運行。我不知道如何在scrapinghub日誌中啓用DEBUG消息。

檢查內存消耗 - 它是穩定的，至少在短暫的測試中，現在正在等待長期運行結果。

如何在作業「失敗」後檢索更多信息？

Answer 1

作業在24小時內自動停止免費賬戶。通常情況下，狀態爲「取消」，日誌顯示SIGTERM。