2013-04-16 139 views
7

的scrapy DOC說:使用scrapyd有什麼優勢?

Scrapy帶有一個內置的服務,被稱爲「Scrapyd」,它允許您部署項目和使用JSON網絡服務控制自己的蜘蛛(又名上傳)。

合規性使用scrapyd有一些優勢嗎?

回答

7

Scrapyd允許您在不同的機器上運行scrapy,而不是通過方便的Web API使用,這意味着您只需使用curl甚至可以使用Web瀏覽器上載新的項目版本並運行它們。否則,如果你想在雲中運行Scrapy,你需要scp複製新的蜘蛛代碼,然後用ssh登錄併產生scrapy crawl myspider

如果您想要並行運行多個蜘蛛,Scrapyd也會爲您管理進程;但是如果你的本地機器上有Scrapy,並且有權訪問命令行或運行蜘蛛的方法,並且只想一次運行一個蜘蛛,那麼你最好手動運行蜘蛛。

如果您正在開發蜘蛛,那麼您肯定不想使用scrapyd進行快速編譯/測試迭代,因爲它只是增加了一層複雜性。

+2

前一陣子我實際上是用芹菜來控制我的蜘蛛。 – goh

+1

如何確保Web API的安全,使得沒有端口掃描的人可以瞭解我的Scrapyd部署,並且不能使用相同的API?我知道我遲到了3年,但我沒有找到任何關於我的查詢。 – harkirat1892