有沒有人有幸爲nutch編寫自定義索引器來將elasticsearch的索引結果編入索引?或者你知道任何已經存在的東西嗎?您是否使用過elasticsearch索引nutch爬行結果?
8
A
回答
2
沒有做到這一點,但這絕對是可行的,但需要搭載SOLR代碼(src/java/org/apache/nutch/indexer/solr)並將其調整爲ElasticSearch。對Nutch來說會是一個不錯的貢獻BTW
3
我知道Nutch會添加可插入的後端,並很高興看到它。我需要將elasticsearch與Nutch 1.3集成。代碼在這裏發佈。捎帶(src/java/org/apache/nutch/indexer/solr)代碼。
+0
我是新來的java,所以我不知道如何在Ubuntu上創建一個包,然後重建它。我已經在/ home/peter/nutch /位置安裝了nutch,所以我不知道在哪裏複製ivy文件和java文件。還有什麼設置必須添加到常春藤文件? – peter 2012-12-17 04:41:24
10
我寫了一個ElasticSearch插件,嘲笑Solr的API。使用這個插件和標準的Nutch Solr索引器,您可以輕鬆地將抓取的數據發送到ElasticSearch。插件以及如何使用Nutch使用它的一個例子可以在GitHub上找到:
0
時間的推移,現在Nucth已與ElasticSearch集成好。 Here是一個不錯的教程。
相關問題
- 1. nutch是否爬過窗體?
- 2. 使用Nutch 2.3,Cassandra 2.0和solr 4.10.3爬行返回0結果
- 3. Nutch爬行沒有錯誤,但結果是沒有
- 4. 使用elasticsearch過濾搜索結果
- 5. nutch爬行路徑
- 6. 如何使用Nutch的-2.2.1爬行
- 7. 的Web爬行使用Solr的Nutch的
- 8. Nutch問題執行爬行
- 9. 如何在爬行時製作Apache Nutch索引
- 10. 刪除從HTML菜單中的爬行索引或者使用Nutch和Solr
- 11. apache nutch通過REST索引到索引
- 12. Solr使用Nutch Crawler索引
- 13. Apache nutch不再爬行
- 14. 空的Nutch爬行列表
- 15. 在Nutch中增量爬行
- 16. 無法啓動Nutch爬行
- 17. 獲取Nutch爬行狀態?
- 18. 使用NEST搜索elasticsearch索引不會產生結果
- 19. 如何使用Elasticsearch 5.x與Nutch /如何索引Elasticsearch 5中的HTML網頁?
- 20. 用nutch 1.8爬行不同的網站
- 21. 過濾搜索結果與elasticsearch
- 22. 如何修改nutch索引編寫器用於elasticsearch的索引模板?
- 23. 在Solr中使用Nutch爬蟲
- 24. 檢查Elasticsearch是否已完成索引
- 25. 在搜索結果開始時使用匹配搜索詞,而不是在搜索結果中使用elasticsearch
- 26. Elasticsearch僅在索引有字段時使用索引過濾器
- 27. 如何使用Nutch索引NFS掛載?
- 28. 使用nutch索引所有內部網
- 29. 索引或autovacuum是否改變查詢結果的行爲?
- 30. Nutch的履帶被爬行'作爲€
這是我採取的方法。我也編寫了自己的elasticsearch索引器和我自己的抓取過程。 – neildf 2011-05-26 11:38:40