0
在Nutch2.2.1中，當我每次運行nutch時，它都會抓取包含我已經爬過的所有url。Nutch2.x每次運行每個url
我想要一個url只被抓取一次，不管nutch運行多少次，那麼，如何配置呢？
A
回答
0
獲取網站後，Nutch會將該網站的網址標記爲抓取網址，並且在下一次抓取時不會再抓取該網址。默認情況下，Nutch將在30天后重新抓取。您可以通過修改db.fetch.interval.default屬性來更改重新獲取頁面之間的默認秒數。
希望這有助於
李全安待辦事項
相關問題
- 1. 在每次每週運行
- 2. 每x分鐘運行一次代碼
- 3. 每x秒運行一次代碼
- 4. Rufus調度程序：立即運行，每x秒運行一次
- 5. 每x秒運行函數
- 6. Django - 每x秒運行一個函數
- 7. 在for循環中每x次運行一次異步
- 8. tensorflow發現每次運行
- 9. iOS每天運行一次
- 10. Liquibase運行變更每次
- 11. RAND（）每次程序運行
- 12. 力Eclipse來每次運行
- 13. 定時器每次運行
- 14. 爲每個班級運行一次，但爲組運行一次
- 15. crontab的運行命令每次運行
- 16. 運行多個，如果每一次
- 17. log4j - 每次運行一個文件
- 18. ExpandableList getChildView每個子女運行兩次
- 19. log4net每次運行一個文件
- 20. 每X次運行執行批處理文件
- 21. Sql Server 2005 - 每個組件每次運行的SSIS統計
- 22. WebJob每每個cron的日程安排運行兩次
- 23. 執行器服務每x秒運行
- 24. VBA每天運行一次宏一次
- 25. jquery每次只運行一次
- 26. Nunit每次運行兩次測試
- 27. Android：每次會話運行一次asynctask
- 28. vb.net每個塊有一個額外運行（運行兩次）
- 29. 每x秒執行一次動作delphi
- 30. 每隔X行讀寫一次文件
，但我用mysql，我看到桌子網頁兩列：fetchtime和prevfetchtime，每次我重新抓取該網站時，這兩個字段將發生變化。 .. – douglee