7
A
回答
5
1
還有在SourceForge上託管的jrobotx library。
（全面披露：我剝離出來，形成該庫中的代碼。）
0
還有履帶公地的新版本：
https://github.com/crawler-commons/crawler-commons
圖書館的目的是實現通用功能到任何網絡爬蟲，這包括一個非常方便的robots.txt解析器
相關問題
- 1. Java正則表達式解析/robots.txt
- 2. 正則表達式解析的robots.txt
- 3. 如何使用PHP解析robots.txt文件？
- 4. Java MIDI解析器？
- 5. Java Json解析器
- 6. RTF Java解析器
- 7. java dyn解析器
- 8. Java CSON解析器？
- 9. Java Json解析器數組
- 10. XML解析器與從Java
- 11. java DOM解析器異常
- 12. HTML解析器與Java
- 13. 的java StreamTokenizer極解析器
- 14. antlr的Java sql解析器
- 15. Netbeans的Java解析器？
- 16. Java中的Ruby解析器
- 17. Java AST解析器.Net
- 18. Java源代碼解析器
- 19. Java的txt解析器
- 20. Java XML解析器問題
- 21. 解析器SQL Java中
- 22. Java的XML解析器環
- 23. Java -Android。解析器問題
- 24. Java解析器測試
- 25. Java網站解析器
- 26. HTML解析器使用Java
- 27. Java多線程解析器
- 28. HTML解析器響應 - Java
- 29. Java，java.lang.reflect.InvocationTargetException與Digester解析器
- 30. 容錯java xml解析器
Robotstxt中存在一個錯誤。請不要使用它。浪費了很多時間。對於像這樣的文件： User-agent：* Disallow：/ Robotstxt的AllowAll方法顯示爲「true」。 – 10101010 2015-04-27 06:17:13