使用NCrawler運行增量爬網

Question

當我們在SOLR中使用NCrawler時，有什麼方法可以運行增量爬行和索引？我不希望抓取工具每次抓取時都抓取完整的數據。有沒有什麼辦法可以使抓取過程更加有效？

在此先感謝。

Answer 1

NCrawler沒有內置任何內容。您將需要創建自己的處理來處理此問題。但是，可擴展的IPipelineStep機制將允許您創建任何您想要的爬網過程。例如，您可以將每個訪問過的URL存儲在數據庫中，同時將頁面內容的散列值一起存儲，以確定頁面何時更改並僅將更改後的頁面處理到索引。