如何共享CrawlSpider所擁有的cookie到webview請求（pywebkit）？

我在爬行Scrapy的一些頁面（在同一個域下）。如何共享CrawlSpider所擁有的cookie到webview請求（pywebkit）？

有一些由JS生成的特殊頁面，所以我使用ScrapyJS並在webview中加載頁面，以便可以執行JS。但在webview中加載的網頁是對網站的新鮮請求。 webview中的響應會將頁面重定向到站點登錄頁面，這不是我想要的。

在我看來，我已經在我的MyTestSpider中登錄了該網站。如果webview的請求可以保存/共享/讀取來自MyTestSpider的cookies，它將使JS生成的頁面執行得很好，就像正確用戶登錄一樣，而不是重定向到站點登錄頁面。

這是我有：類MyTestSpider（CrawlSpider）：

def start_requests(self): 
     self.prelogin() 

    def prelogin(self): 
     //login prepares 

    def login(self): 
     //login the website and hold the cookie 

    def parse_item(self, response): 
     //parse the items

是否有任何人有一個更好的解決這個問題？任何幫助將appraciated ...：P

來源

2013-12-19 MarcoLin

看到這個scrapy feature

要開始使用持久性的蜘蛛支持的啓用，像這樣運行：

scrapy crawl somespider -s JOBDIR=crawls/somespider-1

然後，您可以隨時安全地停止蜘蛛（通過按Ctrl-C或發送信號），稍後通過發出相同命令重新開始：

scrapy crawl somespider -s JOBDIR=crawls/somespider-1

來源

2013-12-19 19:44:01

謝謝，但我真的不知道如何解決我的問題與scrapy-jobs功能。你能解釋一下它的細節嗎？ – MarcoLin

如何共享CrawlSpider所擁有的cookie到webview請求（pywebkit）？

回答

相關問題