運行Hadoop Pi示例

我需要一些幫助，在Windows中運行Hadoop Pi示例。我已經在Windows上成功設置了Hadoop，並且可以看到所有NameNode，SecondaryNameNode，JobTracker和TaskTracker正在運行。我也可以打網址：運行Hadoop Pi示例

http://localhost:50070/, http://localhost:50030 and http://localhost:50090/.

但是，當我試圖運行內置的Pi示例時，我得到以下異常。

$ hadoop jar hadoop/hadoop-examples-1.2.1.jar pi 4 100 
Not a valid JAR: C:\cygwin\home\chandeln\hadoop\hadoop-examples-1.2.1.jar

我還設置我的路都Hadoop和Java的。

$ java -version 
java version "1.7.0_40" 
Java(TM) SE Runtime Environment (build 1.7.0_40-b43) 
Java HotSpot(TM) 64-Bit Server VM (build 24.0-b56, mixed mode) 

$ hadoop version 
Hadoop 1.2.1 
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152 
Compiled by mattf on Mon Jul 22 15:23:09 PDT 2013 
From source with checksum 6923c86528809c4e7e6f493b6b413a9a 
This command was run using /C:/cygwin/usr/local/hadoop/hadoop-core-1.2.1.jar

我的.bashrc是這樣的：

export JAVA_HOME=/cygdrive/c/Java/jdk1.7.0_40 
export HADOOP_PREFIX=/cygdrive/c/usr/local/hadoop 
export PATH=$PATH:$HADOOP_PREFIX/bin

任何人可以提供一些線索這光？

來源

2013-10-16 user2325154

雖然Hadoop是用Java編寫的，它不會在Windows上發揮出色。如果你真的想在最短的時間內使用Hadoop來運行，我會推薦使用Linux。您可以下載免費的VMWare Player應用程序，並將其安裝在Windows上。然後，下載Ubuntu上的最新版本，並使用VMWare Player將其作爲虛擬機進行安裝。然後你可以使用你的Ubuntu虛擬機到install a single node cluster of Hadoop。

如果這似乎太多工作，打開一個Amazon AWS帳戶，並找到pre-configured Hadoop machines使用。

來源

2013-10-16 20:59:16

我在Ubuntu上安裝Hadoop和得到它的工作甚至還有Pi的例子在那裏工作。但唯一的問題是，你必須不時輸入以「sudo」開頭的命令。作爲一名Windows開發人員，我一生都不明白什麼時候執行以「sudo」開始的命令，什麼時候不執行。 – user2325154

@ user2325154：確保您擁有Hadoop安裝。如果你這樣做，你不應該使用sudo。例如，如果您下載Hadoop並使用sudo提取它，它將屬於根目錄，您需要使用sudo來訪問它。爲了確保您是所有者，請使用您的Hadoop文件夾轉到目錄，然後鍵入「sudo chown -R [your-username]：[your-groupname]」，它將遞歸地授予您文件的所有權，並允許您執行沒有sudo的命令。 –

這很可能是由於你的Java版本不與瓶的匹配。試用jdk1.6。

（貌似你與YDN Hadoop的打？）

來源

2015-06-08 07:41:04 abhishek08aug

嘗試 $紗罐子的Hadoop/Hadoop的例子-1.2.1.jar PI 4 100

來源

2017-01-01 16:50:17 MDN

運行Hadoop Pi示例

回答

相關問題