1
是否可以通過Nutch抓取/抓取純HTML頁面（即沒有圖片，視頻，flash，excel，exe，pdf或word文件）？如何在Nutch中只抓取HTML？
如何查看Content-Type的頁面，並通過Nutch獲取text/html網頁？
A
回答
1
編輯conf/regex-urlfilter.txt：
設置文件後綴忽略：
-\.(jpg|gif|zip|ico)$
相關問題
- 1. 如何抓取Nutch中的圖像？
- 2. 如何包括在Nutch的抓取
- 3. 如何讓Nutch爬蟲只抓取特定的URL？
- 4. 如何讓Apache Nutch的抓取永遠
- 5. 如何擴展Nutch文章抓取
- 6. 如何讓Nutch的爬蟲抓取
- 7. Nutch在給定域中只抓取幾個鏈接
- 8. 在nutch 1.3中重新抓取網址
- 9. 如何在nutch 1.3中重新抓取不同的預定抓取網站？
- 10. Nutch抓取 - 在每個抓取影響中刪除分段
- 11. apache nutch不抓取網站
- 12. 從nutch重點抓取
- 13. Nutch抓取不起作用
- 14. Nutch的抓取命令
- 15. 如何從Nutch抓取的數據中提取數據？
- 16. Nutch 1.9命令抓取只取一個級別
- 17. 爲什麼Nutch（v2.3）只抓取種子網址，而不抓取整個網站？
- 18. 如何配置Nutch只抓取seeklist中的URL？ （沒有爬回需要）
- 19. Nutch-Hadoop： - 我們如何只抓取網址中的更新進行重新抓取？
- 20. 使用CrawlDbReader讀取Nutch抓取數據
- 21. 如何從nutch訪問內容分類中的抓取內容
- 22. 如何或在哪裏運行$ ./nutch注入抓取/ crawldb網址
- 23. 如何使用apache nutch在少數主題上抓取數據？
- 24. 如何使nutch抓取文件和子文件夾 - 它只抓取文件夾的索引
- 25. 如何從nutch獲取html內容
- 26. 使用Nutch的抓取特定HTML標籤
- 27. 如何在nutch中獲取抓取的頁面內容和相應的URL？
- 28. Nutch 1.4和Solr 3.6 - Nutch沒有抓取301/302重定向
- 29. Apache Nutch重新啓動抓取
- 30. Nutch不抓取頁面內容