如何管理scrapy項目中的多個蜘蛛

我是scrapy的新手，但已成功創建了一個相當複雜的蜘蛛。現在我想再添加幾個到同一個項目。我試圖複製我的工作蜘蛛，並編輯它與另一個目標一起工作，但我得到各種全局變量錯誤。我嘗試過「scrapy抓取my_new_spider」，但似乎所有的蜘蛛都正在啓動。是什麼賦予了？應該只在現有的蜘蛛中添加一個新類？這似乎沒有可擴展性......任何指針將不勝感激。這些文件讓我頗爲驚訝，但現在我已陷入困境。如何管理scrapy項目中的多個蜘蛛

非常感謝！

來源

2014-09-11 MoreScratch

代碼運行的蜘蛛？很有幫助。 – 2014-09-11 03:55:49

global my_var = True – MoreScratch 2014-09-11 16:11:10

我從你的問題中瞭解到，添加更多蜘蛛的最好方法是在蜘蛛文件夾下的新文件中添加新類，嘗試給每個蜘蛛分別命名。使用這個結構，你可以在同一個項目下共享你的items.py，settings.py等所有的蜘蛛。

tutorial/ 
    scrapy.cfg 
    tutorial/ 
     __init__.py 
     items.py 
     pipelines.py 
     settings.py 
     spiders/ 
      __init__.py 
      spider1.py 
      spider2.py 
      ......

和spider1和spider2即可設置相應的名稱，如

name= "spider1" and name="spider2"

，這樣就可以作爲

scrapy crawl spider_name

來源

2014-09-11 09:14:20

謝謝Tasawer！這正是我所做的，但錯誤仍然存在。我不明白爲什麼如果我指定了我想要發起的蜘蛛，它會在其他蜘蛛中拋出一個錯誤。它幾乎和scrapy一樣試圖啓動所有的蜘蛛，而不是我指定的蜘蛛。我可以更改全局變量名稱，但我認爲這只是設置和/或配置不當的一個症狀。我需要在設置中做什麼特別的事情嗎？也許我的課是靜態的？ – MoreScratch 2014-09-11 16:11:57

修復了一個小的語法錯誤之後，您的建議幫助我解決了我的問題的根源。謝謝。 – MoreScratch 2014-09-11 22:28:46

如何管理scrapy項目中的多個蜘蛛

回答

相關問題