如果我們有多個網站，實施scrapy的更好方法是什麼？

Question

如果我們有多個網站有不同的html結構，那麼實施scrapy的更好方法是什麼？

1. 我應該根據單個項目中的站點創建多個蜘蛛嗎？
2. 我應該根據網站創建多個項目嗎？
3. 或其他方式，請定義。

Answer 1

通常你應該在一個項目中創建多個蜘蛛，每個網站一個，但這取決於。

scrapy蜘蛛也決定如何在頁面之間跳轉，而不是應用解析器回調，解析器回調方法會從頁面中提取數據。因爲頁面不一樣，所以每個頁面都需要一個解析器回調方法。

該網站通常有不同的網站地圖，因此您需要多個蜘蛛，每個網站一個，它將決定如何跳頁。相比之下，蜘蛛將應用他們的回調，決定如何刮該頁面。

通常，您不需要爲多個網站創建多個項目，但這取決於。 如果您的網站共享某些邏輯特徵，請將它們放在一個項目中，以便它們可以使用相同的scrapy設置。這樣做也更容易，您可以創建基本蜘蛛並繼承常用方法。

Answer 2

1. 不同的網站 - >在同一項目不同的腳本，如果刮相同的數據，從而在同一個項目中兩個腳本可以駐留並使用相同的管道

2. 同一個網站 - >同一個項目

3. 不同的網站，不同的數據 - >不同的項目

4. 同一個網站，不同的數據 - >使用使用個功能