Scrapy找不到蜘蛛錯誤

Question

我一直在試圖讓一個簡單的蜘蛛與scrapy運行，但不斷收到錯誤：

Could not find spider for domain:stackexchange.com

當我運行與表達 scrapy-ctl.py crawl stackexchange.com代碼

。蜘蛛是如下：

from scrapy.spider import BaseSpider 
from __future__ import absolute_import 


class StackExchangeSpider(BaseSpider): 
    domain_name = "stackexchange.com" 
    start_urls = [ 
     "http://www.stackexchange.com/", 
    ] 

    def parse(self, response): 
     filename = response.url.split("/")[-2] 
     open(filename, 'wb').write(response.body) 

SPIDER = StackExchangeSpider()` 

完全相同的問題幾個月前另一個人幾乎貼，但並沒有說他們是如何解決它，Scrapy spider is not working 我一直在關注turtorial正是在http://doc.scrapy.org/intro/tutorial.html，並不能找出它爲什麼不管用。

當我在Eclipse中運行這個代碼，我得到的錯誤

Traceback (most recent call last): File "D:\Python Documents\dmoz\stackexchange\stackexchange\spiders\stackexchange_spider.py", line 1, in <module> from scrapy.spider import BaseSpider ImportError: No module named scrapy.spider

我想不通爲什麼它沒有找到基地蜘蛛模塊。我的蜘蛛是否必須保存在腳本目錄中？

Answer 1

嘗試運行python yourproject/spiders/domain.py以查看是否有任何語法錯誤。由於scrapy依賴親屬進口，我認爲你不應該啓用絕對導入。