安排scrapy蜘蛛每隔N分鐘運行一次

Question

我需要幫助來安排每隔N分鐘運行一次蜘蛛。早期我看到大多數人使用reactor.callLater和reactor.run來達到這個目的，但似乎現在沒有可能使用這些功能。我怎樣才能安排它programmaticaly？

def run_crawl(): 
    """ 
    Run a spider within Twisted. Once it completes, 
    wait 5 seconds and run another spider. 
    """ 
    runner = CrawlerRunner(get_project_settings()) 
    runner.crawl(SpiderA) 
    runner.crawl(SpiderB) 
    deferred = runner.join() 
    deferred.addCallback(reactor.callLater, 5, run_crawl) 
    return deferred 

run_crawl() 
reactor.run() 

這時我的爬蟲程序由Windows任務調度程序調度，但我想以編程方式安排它。

Answer 1

你可以給一個嘗試與名爲schedule外部模塊：
schedule github link

告訴我，如果它不適合您的需求。