Nutch和Elasticsearch 1.1.1

我使用Elasticsearch 1.1.1並試圖讓Nutch使用它。我已經嘗試了版本1.8和2.2.1。當我完成運行抓取，我得到這樣的最終結果：Nutch和Elasticsearch 1.1.1

... 
Indexer: starting at 2014-06-13 00:14:33 
Indexer: deleting gone documents: false 
Indexer: URL filtering: false 
Indexer: URL normalizing: false 
Active IndexWriters : 
ElasticIndexWriter 
elastic.cluster : elastic prefix cluster 
elastic.host : hostname 
elastic.port : port 
elastic.index : elastic index command 
elastic.max.bulk.docs : elastic bulk index doc counts. (default 250) 
elastic.max.bulk.size : elastic bulk index length. (default 2500500 ~2.5MB) 


Indexer: java.io.IOException: Job failed! 
at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1357) 
at org.apache.nutch.indexer.IndexingJob.index(IndexingJob.java:114) 
at org.apache.nutch.indexer.IndexingJob.run(IndexingJob.java:176) 
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 
at org.apache.nutch.indexer.IndexingJob.main(IndexingJob.java:186)

我已經更新了新版本的ivy.xml文件，並試圖對事物的每變化我可以從各種教程和文章上找出這裏。

來源

2014-06-13 milkdog7

中繼包含一個補丁https://issues.apache.org/jira/browse/NUTCH-1745，它已被承諾並將在Nutch-1.9中。它應該解決您的問題 - 儘管您發佈的消息無助於確定問題實際是什麼。

BTW你會被張貼在Nutch user list

來源

2014-06-18 15:59:03

我直接從SVN下載Nutch-1.9，因爲它尚未完成。似乎是完美的爲我工作。非常感謝你！ – milkdog7

它發生在我身上也得到了更多的相關受衆，原來，索引器插件indexer-elastic仍然配置爲使用舊版本elasticsearch作爲依賴在src\plugin\indexer-elastic\ivy.xml

來源

2014-10-21 18:54:44

Nutch和Elasticsearch 1.1.1

回答

相關問題