跟蹤從外部鏈接已被抓取到的基礎url的路徑

Question

我已經實現了深度爲3的Nutch crawler。現在，當我將數據提取到cassandra時，我有一個包含URL和來自特定的URL。那麼是否有任何方法可以追溯到深度抓取URL已在seed.txt中更新並抓取的本地URL的路徑。

Answer 1

所以基本上你想知道從哪個種子URL（在你的seed.txt文件中）一個特定的URL來自哪裏？如果是這種情況，那麼基本上很容易，seed.txt文件支持添加custom metadata key/vale pair after the URL。基本上只要使用以下格式：

URL <tab> key=value 

例如像：

http://my-news-site.com source=news 

之後，你將需要使用和配置urlmeta插件元數據傳播到種子的所有對外連結URL。這會導致您最終在索引中爲source字段顯示原始種子URL及其所有鏈接。