關於從Python腳本內運行Scrapy的困惑

Question

以下document，我可以從Python腳本運行scrapy，但無法獲得scrapy結果。

這是我的蜘蛛：

from scrapy.spider import BaseSpider 
from scrapy.selector import HtmlXPathSelector 
from items import DmozItem 

class DmozSpider(BaseSpider): 
    name = "douban" 
    allowed_domains = ["example.com"] 
    start_urls = [ 
     "http://www.example.com/group/xxx/discussion" 
    ] 

    def parse(self, response): 
     hxs = HtmlXPathSelector(response) 
     rows = hxs.select("//table[@class='olt']/tr/td[@class='title']/a") 
     items = [] 
     # print sites 
     for row in rows: 
      item = DmozItem() 
      item["title"] = row.select('text()').extract()[0] 
      item["link"] = row.select('@href').extract()[0] 
      items.append(item) 

     return items 

通知的最後一行，我嘗試使用返回的解析結果，如果我跑：

scrapy crawl douban 

終端可以打印返回結果

但我無法從Python腳本獲取返回結果。這裏是我的Python腳本：

from twisted.internet import reactor 
from scrapy.crawler import Crawler 
from scrapy.settings import Settings 
from scrapy import log, signals 
from spiders.dmoz_spider import DmozSpider 
from scrapy.xlib.pydispatch import dispatcher 

def stop_reactor(): 
    reactor.stop() 
dispatcher.connect(stop_reactor, signal=signals.spider_closed) 
spider = DmozSpider(domain='www.douban.com') 
crawler = Crawler(Settings()) 
crawler.configure() 
crawler.crawl(spider) 
crawler.start() 
log.start() 
log.msg("------------>Running reactor") 
result = reactor.run() 
print result 
log.msg("------------>Running stoped") 

我試圖在reactor.run()得到結果，但它返回任何結果，

我怎樣才能得到的結果？

Answer 1

終端打印結果，因爲默認日誌級別設置爲DEBUG。

當您從腳本運行蜘蛛並調用log.start()時，默認日誌級別設置爲INFO。

只需更換：

log.start() 

與

log.start(loglevel=log.DEBUG) 

UPD：

爲了得到結果作爲字符串，可以記錄所有的文件，然後從中讀取，例如：

log.start(logfile="results.log", loglevel=log.DEBUG, crawler=crawler, logstdout=False) 

reactor.run() 

with open("results.log", "r") as f: 
    result = f.read() 
print result 

希望有所幫助。

Answer 2

在我的情況下，我將腳本文件放在scrapy項目級別，例如如果scrapperoject/scrapproject/spiders然後我把它放在scrapyproject/myscript.py

Answer 3

我發現你的問題，而問自己同樣的事情，即：「我怎樣才能得到結果？」。由於這是不是在這裏回答我努力找到自己的答案，現在我有我可以分享：

items = [] 
def add_item(item): 
    items.append(item) 
dispatcher.connect(add_item, signal=signals.item_passed) 

或爲scrapy 0.22（http://doc.scrapy.org/en/latest/topics/practices.html#run-scrapy-from-a-script）取代我的解決方案的最後一行：

crawler.signals.connect(add_item, signals.item_passed) 

我的解決方案可以從http://www.tryolabs.com/Blog/2011/09/27/calling-scrapy-python-script/自由調整。