Apache Nutch 2.3：不會注入URL（掛起）＆hadoop日誌顯示警告

我試圖設置Nutch 2.3與Elasticsearch 5.4。問題出在Nutch，因爲我無法注入我的網址。 Hadoop的日誌顯示以下警告：Apache Nutch 2.3：不會注入URL（掛起）＆hadoop日誌顯示警告

控制檯：

aurora apache-nutch-2.3.1 # runtime/local/bin/nutch inject urls/seed.txt 
InjectorJob: starting at 2017-06-14 17:08:28 
InjectorJob: Injecting urlDir: urls/seed.txt

**它掛在這裏**

和

Hadoop的日誌：

aurora apache-nutch-2.3.1 # cat runtime/local/logs/hadoop.log 
2017-06-14 17:08:28,339 INFO crawl.InjectorJob - InjectorJob: starting at 2017-06-14 17:08:28 
2017-06-14 17:08:28,340 INFO crawl.InjectorJob - InjectorJob: Injecting urlDir: urls/seed.txt 
2017-06-14 17:08:28,992 WARN util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

我我試着在這個線程後面設置我的Hadoop環境變量（Hadoop "Unable to load native-hadoop library for your platform" warning）米仍然得到相同的錯誤。

任何想法？

來源

2017-06-22 Emily T

不要擔心警告。我相信你正在使用Linux發行版
Nutch2.3與ES 5.x不兼容。我寫了一個自定義的IndexWriter，它在給定的端口調用Logstash，然後調用Elastic Search。你可以嘗試這種方法或其他方法。

來源

2017-06-23 01:00:23

好的，謝謝。你有這兩個工作設置？ –

我使用了Oracle Virtual box並在其上運行ubuntu。那裏有所有的變化。對於logstash自定義代碼，您可以使用2.3版本的索引器並根據需要進行更改。我會盡量爲你提供一個樣本，給我一些時間。 –

Apache Nutch 2.3：不會注入URL（掛起）＆hadoop日誌顯示警告

回答

相關問題