2014-12-27 144 views
2

Scrapy忽略了我的蜘蛛規則,甚至不允許使用域名。Scrapy忽略allowed_domains?

self.start_urls = [ 'http://www.domain.de' ] 
self.allowed_domains = [ 'domain.de' ] 

但sometines它運作良好,未過濾允許的域,請登錄:

DEBUG:過濾異地請求 'www.clubsoundz.fm':http://www.clubsoundz.fm/>

我用sgmllinkextractor跟隨鏈接,在這裏我的 「規則」:

規則=( 規則(sgmlLinkExtractor(),回調= 'get_domain_data',跟着= TRUE), )

任何人都可以幫忙嗎?

回答