7
的scrapy DOC說:使用scrapyd有什麼優勢?
Scrapy帶有一個內置的服務,被稱爲「Scrapyd」,它允許您部署項目和使用JSON網絡服務控制自己的蜘蛛(又名上傳)。
合規性使用scrapyd有一些優勢嗎?
的scrapy DOC說:使用scrapyd有什麼優勢?
Scrapy帶有一個內置的服務,被稱爲「Scrapyd」,它允許您部署項目和使用JSON網絡服務控制自己的蜘蛛(又名上傳)。
合規性使用scrapyd有一些優勢嗎?
Scrapyd允許您在不同的機器上運行scrapy,而不是通過方便的Web API使用,這意味着您只需使用curl
甚至可以使用Web瀏覽器上載新的項目版本並運行它們。否則,如果你想在雲中運行Scrapy,你需要scp
複製新的蜘蛛代碼,然後用ssh
登錄併產生scrapy crawl myspider
。
如果您想要並行運行多個蜘蛛,Scrapyd也會爲您管理進程;但是如果你的本地機器上有Scrapy,並且有權訪問命令行或運行蜘蛛的方法,並且只想一次運行一個蜘蛛,那麼你最好手動運行蜘蛛。
如果您正在開發蜘蛛,那麼您肯定不想使用scrapyd
進行快速編譯/測試迭代,因爲它只是增加了一層複雜性。
前一陣子我實際上是用芹菜來控制我的蜘蛛。 – goh
如何確保Web API的安全,使得沒有端口掃描的人可以瞭解我的Scrapyd部署,並且不能使用相同的API?我知道我遲到了3年,但我沒有找到任何關於我的查詢。 – harkirat1892