crawler4j重新抓取網站無法正常工作

Question

我正在使用crawler4j庫抓取某些網站，但當我打電話兩次時，我遇到了問題。它只是第一次工作。第二次不給出任何錯誤，但它什麼都不做。

我認爲圖書館正在保存抓取的網址，這就是爲什麼我不能打電話。

我看到了一些信息，但不是解決辦法...提前

http://code.google.com/p/crawler4j/wiki/FrequentlyAskedQuestions

感謝，

冬眠。

Answer 1

您的抓取存儲文件夾是在第一次寫入之後，此外，此文件不能自動刪除（重新抓取），因爲對文件的訪問被拒絕，所以第二次，程序檢查此文件並認爲所有網址都被抓取。您應該編輯crawler4j以完全關閉對抓取存儲文件夾的訪問。關注此： https://code.google.com/p/crawler4j/issues/detail?id=157