HPCC/HDFS連接器

誰知道大約HPCC/HDFS connector.we同時使用HPCC和HADOOP.There是一個實用程序（HPCC/HDFS連接器）通過HPCC開發了允許HPCC簇接取HDFS數據HPCC/HDFS連接器

我已經安裝了連接器，但是當我運行程序來訪問hdfs中的數據時，它會給出錯誤，因爲libhdfs.so.0不存在。

我試圖建立libhdfs.so使用命令

ant compile-libhdfs -Dlibhdfs=1

它給我的錯誤作爲

目標「編譯libhdfs」項目中的「Hadoop的」不存在

我使用了另一個命令

ant compile-c++-libhdfs -Dlibhdfs=1

它給錯誤的

常春藤下載：
[get] Getting: http://repo2.maven.org/maven2/org/apache/ivy/ivy/2.1.0/ivy-2.1.0.jar 

    [get] To: /home/hadoop/hadoop-0.20.203.0/ivy/ivy-2.1.0.jar 

    [get] Error getting http://repo2.maven.org/maven2/org/apache/ivy/ivy/2.1.0/ivy-2.1.0.jar 
到/home/hadoop/hadoop-0.20.203.0/ivy/ivy-2.1.0.jar

BUILD失敗java.net.ConnectException：連接超時

任何建議將是一個很大的幫助

來源

2012-06-19 chhaya vishwakarma

Chhaya，你可能不需要編譯libhdfs.so，這取決於你安裝hadoop的方式，你可能已經擁有它了。

登記HADOOP_LOCATION/c++/Linux-<arch>/lib/libhdfs.so，其中HADOOP_LOCATION是您的hadoop安裝位置，arch是機器的架構（i386-32或amd64-64）。

一旦您找到該庫，確保H2H連接器配置正確（see page 4 here）。

這只是在更新配置文件中HADOOP_LOCATION VAR的事情： /opt/HPCCSystems/hdfsconnector.conf

好運。

來源

2012-06-19 20:50:53 user1467551

我將HADOOP_LOCATION更新爲/home/hadoop/hadoop-0.20.203.0，然後給出相同的錯誤。我們在一臺機器上安裝了HPCC，另一臺機器上的hadoop出現了這個問題？ .libhdfs.so在HADOOP_LOCATION/C++/Linux- /lib/libhdfs.so中，但在運行程序時面臨同樣的問題 –

H2H連接器需要hadoop 1.x，看起來像你有hadoop 0.2測試版...也是你的hadoop系統和HPCC系統不需要在同一臺機器上運行，但H2H連接器需要在本地提供libhdfs.so。 – user1467551

順便說一句，H2H連接器的日誌可以在這裏找到：/var/log/HPCCSystems/mydataconnectors/HDFSCONNECTOR.*.log一旦你得到正確版本的hadoop的hdfslib我很想看看最新的日誌顯示... – user1467551

HPCC/HDFS連接器

回答

相關問題