芹菜和Scrapyd之間的區別

Question

我用Portia製作了一個小型scrapy蜘蛛。我已經將它部署在Scrapyd中並且工作正常。

搜索後，我發現我們可以使用芹菜來安排蜘蛛。

其實Scrapyd和芹菜之間的區別是什麼？

任何人都可以幫助我。

謝謝。

Answer 1

Scrapyd主要側重於部署scrapy蜘蛛，而Celery是以分佈式和可伸縮的方式運行異步任務的通用框架。

你可以做一個與另一個。但scrapy正如你所知是專注於刮網，然而用芹菜你會定義你的任務。

scrapy + scrapyd：Scrapyd是爲scrapy構建的，當你將「部署」一個新的蜘蛛時，它的運行scrapy crawl myspider。 Scrapyd還提供了一個web服務來上傳和啓動新的蜘蛛和一些更多的功能。

scrapy + celery：您需要實施的芹菜任務基本上與scrapyd中給出的基本相同。這種方式的主要優勢IMO是如果您最終會有瑞德萊特不能提供的要求，用芹菜更容易實現它們，因爲在芹菜中您定義了自己的任務。

從Celery：

芹菜是基於分佈式消息傳遞一個異步任務隊列/作業隊列。它專注於實時操作，但也支持調度。

從Scrapyd：

Scrapyd是部署和運行Scrapy蜘蛛的應用程序。它使您能夠使用JSON API部署（上傳）您的項目並控制其蜘蛛。