crawler4j抓取一個網址列表，而不抓取整個網站

Question

我有一個需要抓取的網址列表。有可能只抓取網頁列表，而不抓取它。如果我將網址添加爲種子，它會以完整的深度抓取完整網站。

Answer 1

要只抓取其中添加作爲種子的頁面，設置MaxDepthOfCrawling 0

CrawlConfig config = new CrawlConfig(); 
config.setMaxDepthOfCrawling(0); 
PageFetcher pageFetcher = new PageFetcher(config);