2011-06-28 36 views

回答

2

的問題是,HTTP緩存默認使用相對路徑httpcache

這適用於通常從命令行運行蜘蛛,但在運行服務時不能運行蜘蛛。

解決的辦法是將HTTPCACHE_DIR[docs]設置爲絕對路徑。

+0

ie:絕對路徑在服務器上...所以是的,即使蜘蛛是一個客戶端部署到服務器,客戶端告訴scrapyd服務在服務器的文件系統放置緩存的位置。這個目錄必須由scrapyd進程寫入。 –

+0

仍然是一個相關的答案,但現在這個文檔的鏈接是[this](https://doc.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-dir)。 – bartaelterman