如何在nutch 1.3中重新抓取不同的預定抓取網站？

Question

我有很多網站;每月有些變化的內容和每天變化的內容。 nutch 1.3抓取它們，現在我想用不同的計劃抓取重新抓取它們。 我該怎麼做？ 謝謝。

Answer 1

您可以編寫一個shell腳本，您可以在其中指定用於運行爬網程序的命令名稱，並在linux中使用cron命令來調度此腳本的執行。

http://www.thegeekstuff.com/2011/07/cron-every-5-minutes/

即使谷歌在一段時間後反覆抓取整個網絡。

Answer 2

您可以指定取（兩個連續抓取之間的時間）間隔像這樣在你的種子文件中的每個條目：

http://daily.com \t nutch.fetchInterval=86400 
http://montly.com \t nutch.fetchInterval=2592000 

如果您正在使用AdaptiveFetchSchedule剛纔設置的啓動間隔上面的條目，每個重新檢索後取決於頁面是否更改，此間隔將增加或減少。在這種情況下，如果您始終需要固定的時間間隔，則可以在上面的行中使用nutch.fetchInterval.fixed而不是nutch.fetchInterval。