PHPCrawl可以用於抓取網站和Scrapy有什麼不同嗎？

Question

我想刮幾個網站和很多建議Scrapy。這是基於Python的，因爲我對PHP非常熟悉，所以尋找替代品。

我有一臺履帶式翻譯記憶卡PHPCrawl。我不確定它是否只是一個爬行器，或者它是否也會提供刮削設備。如果它可以用於抓取 - 它會支持XPath或正則表達式。

它如何與Python中的Scrapy進行比較。

請建議我哪個最適合用來抓取網站。

感謝

Answer 1

PHPCrawl是一個純粹的履帶，它提供了發現頁面和它們的源代碼給用戶「因爲他們是」（連同一些背景信息）。因此它速度很快，它不能使用多個進程，並有大量的選項來配置它。

不能說太多關於Scrapy，因爲我到目前爲止沒有使用它。

Answer 2

是的，當然。 但正如我所說，PHPCrawl提供頁面源，並且你必須提取你想從中提取的數據。