2
Scrapy忽略了我的蜘蛛規則,甚至不允許使用域名。Scrapy忽略allowed_domains?
self.start_urls = [ 'http://www.domain.de' ]
self.allowed_domains = [ 'domain.de' ]
但sometines它運作良好,未過濾允許的域,請登錄:
DEBUG:過濾異地請求 'www.clubsoundz.fm':http://www.clubsoundz.fm/>
我用sgmllinkextractor跟隨鏈接,在這裏我的 「規則」:
規則=( 規則(sgmlLinkExtractor(),回調= 'get_domain_data',跟着= TRUE), )
任何人都可以幫忙嗎?