蜘蛛和刮板架構

Question

我一直在用PHP構建一個刮板和蜘蛛，當我遇到這個設計問題時。我想知道在建立一個將抓取和抓取任務分開的系統（如大多數專業系統似乎這樣做）和蜘蛛抓取時的抓取任務之間的平衡。我唯一能想到的是，通過分割並使用一個隊列，你可以更好地平行化任務，方法是讓幾個刮刀只需要詢問隊列中的下一頁是什麼。任何人都可以想到其他的權衡，並向我解釋這些通常分爲兩個程序的主要原因？

注意：兩種情況下的抓取順序是相同的，唯一的區別是當頁面被拉出時。

Answer 1

爬行程序檢索頁面，蜘蛛程序處理它們。如果將這些任務分開保存，則可以更改一個任務的執行而不更改其他任務。這就是它們分離的原因：它只是很好的軟件設計。你給出的例子是一個很好的例子：如果你將檢索與單個類/模塊/程序/函數/任何處理結合起來，任何頁面檢索方式的改變（例如並行檢索，通過代理檢索，等）需要重寫整個程序。

下面是另一個：如果你想處理不同類型的數據（例如rss feeds而不是html頁面），你需要從頭開始編寫整個刮板，並且不能重複在頁面檢索中做的任何工作。