如何配置Apache Nutch忽略某些url模式

Question

我使用Apache Nutch來爬取網站。在抓取時，我希望nutch忽略多個url模式，如http://www.youtube.com/..so ...，http://www.twitter.com/so ..等。

我知道如何配置regex-urlfilter.txt文件來抓取特定的url。

但我不知道如何配置nutch忽略某些url模式？

Answer 1

我也跟着下面的網址，發現了很多有用的例子

https://scm.thm.de/pharus/nutch-config/blobs/66fba7d3dc015974b5c194e7ba49da60fe3c3199/Nutch-Config/conf/regex-urlfilter.txt