確實apache-nutch支持sitemaps? 或我該如何自己實現它?我如何使用優先領域,它應該乘以提升領域?nutch和sitemap.xml
1
A
回答
1
不是我所知道的。 根據你期望他們是多種實現的行爲,你可以更具體嗎? 例如: +您可以讓新的網站地圖提交的是「注入」高分,以便他們能夠更早地被抓取。爲此,只需在開始新的抓取/抓取/索引循環之前添加註入命令,您可以創建一個評分插件,它將提升站點地圖中找到的URL ... 但是,您無法在URL級別定義抓取時間段,如網站地圖所示。 Nutch具有內置功能,可以更頻繁地重新抓取更多的URL,反之亦然。然而,你可以決定提高頻繁刷新率的URL的分數,以便他們早日爬行...
1
我想他們現在支持它。我發現它在這個鏈接
相關問題
- 1. PHP和sitemap.xml
- 2. 控制robots.txt和sitemap.xml
- 3. Nutch和Elasticsearch 1.1.1
- 4. 如何使用sites.kml和sitemap.xml
- 5. Magento,Split sitemap.xml和cron作業
- 6. ElasticSearch和Nutch集成
- 7. nutch和solr多域
- 8. Solr 5.0和Nutch 1.10
- 9. 爲sitemap.xml的
- 10. 靜態Sitemap.xml Django
- 11. Nutch v Solr v Nutch + Solr
- 12. Solr 6和Nutch 2.3.1集成
- 13. 安裝Nutch 1.3和Solr 3.1
- 14. Apache Nutch和Solr集成
- 15. 安裝Nutch 1.3和Hadoop
- 16. Nutch 2解析和鏈接
- 17. Hadoop 1.03和Nutch 1.5問題
- 18. Nutch和Http POST驗證?
- 19. Django的:sitemap.xml的和「未知時區」
- 20. Google sitemap.xml和重複的內容問題?
- 21. 獨角獸,nginx和服務sitemap.xml
- 22. 使用Spring MVC服務sitemap.xml和robots.txt
- 23. Nutch 1.4和Solr 3.6 - Nutch沒有抓取301/302重定向
- 24. Django Google新聞Sitemap.xml
- 25. 什麼是sitemap.xml的
- 26. MvcSiteMapProvider - 不生成sitemap.xml
- 27. ASP.NET MVC Sitemap.xml錯誤
- 28. 動態生成sitemap.xml
- 29. Nutch Installation
- 30. 增量或點播的sitemap.xml