爬行程序意外死亡

Question

我面臨爬行程序意外死亡的問題。

我使用scrapy 0.14，問題也存在於0.12中。

scrapyd日誌顯示的條目如下：進程死亡：exitstatus =無 蜘蛛日誌不會顯示蜘蛛關閉信息，如我的數據庫狀態所示。

有沒有其他人面臨類似的情況？我如何追蹤這些過程消失的原因，任何想法， 建議？

Answer 1

我想我有類似的情況。

進程正在死亡的原因是，蜘蛛正在產生一個異常使得進程停止。

要找出異常，請查看.scrapy文件夾中某處的日誌文件。對於每個已啓動的搜尋器進程，scrapy都將創建一個包含作業ID的日誌文件。