如何使mahout與hadoop HDFS交互

Question

我使用HDP mahout版本0.8。我已經設置了MAHOUT_LOCAL=""。當我運行mahout時，我看到消息HADOOP LOCAL NOT SET RUNNING ON HADOOP，但我的程序沒有將輸出寫入HDFS目錄。

誰能告訴我如何讓我的mahout程序從HDFS獲取輸入並將輸出寫入HDFS？

Answer 1

假設你有你的mahout jar版本，它需要輸入並寫入hdfs。請執行以下操作：

從Hadoop的bin目錄：

./hadoop jar /home/kuntal/Kuntal/BIG_DATA/mahout-recommender.jar mia.recommender.RecommenderIntro --tempDir /home/kuntal/Kuntal/BIG_DATA --recommenderClassName org.apache.mahout.cf.taste.impl.recommender.GenericItemBasedRecommender 

#Input Output Args specify if required 
-Dmapred.input.dir=./ratingsLess.txt -Dmapred.output.dir=/input/output 

請檢查： http://chimpler.wordpress.com/2013/02/20/playing-with-the-mahout-recommendation-engine-on-a-hadoop-cluster/

Answer 2

你設置的PATH的$MAHOUT_HOME/bin和$HADOOP_HOME/bin？

例如在Linux： export PATH=$PATH:$MAHOUT_HOME/bin/:$HADOOP_HOME/bin/ export HADOOP_CONF_DIR=$HADOOP_HOME/conf/

然後，幾乎所有的亨利馬烏的命令使用的選項-i（輸入）和-O（輸出）。

例如：

mahout seqdirectory -i <input_path> -o <output_path> -chunk 64