hadoop2

1熱度

1回答

我使用hadoop 2.6.0和hbase 0.98.7，我爲hdfs/namenode配置了HA。我正在顯示活動的nn1和待機nn2。現在的問題是我無法爲hbase啓用高可用性，我也不知道如何將hbase與啓用HA的hdfs集成。此外，雖然做jps HMaster正在運行，但無法看到hbase的用戶界面。我核心的site.xml <configuration> <property> <na

1熱度

3回答

start-dfs.sh - 不工作 - localhost：壞端口'localhost'（Hadoop 2.7.2）

當我嘗試命令hadoop版本 - 其工作正常。的Hadoop的NameNode -format命令也工作正常命令start-dfs.sh - 不工作我在[本地主機] 本地主機越來越開始namenodes：不良端口 'localhost' 的本地主機：不良端口 'localhost' 的啓動輔助名稱節點[0.0.0.0] 請找到下面的配置文件，謝謝。芯SITE.XML <configu

1熱度

1回答

在hadoop2中設置outputCommitterClass屬性

我一直在過去幾周研究這個問題，並沒有找到明確的答案。這裏是我的問題：對於hadoop1x（在mapred LIB），我們可以通過使用自定義輸出提交者： spark.conf.set( "spark.hadoop.mapred.output.committer.class", "some committer" ) 或簡單地調用JobConf.setOutputCommit

4熱度

1回答

Hadoop節點管理器不滿足最低分配

Hadoop節點管理器不滿足最低分配。我收到以下錯誤： org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Received SHUTDOWN signal from Resourcemanager, Registration of NodeManager failed, Message from Resource Manager: No

0熱度

1回答

爲什麼Hadoop名稱節點連接到奇怪[aca8ca1d.ipt.aol.com]主機名？

我使用的是Mac系統和啓動的Hadoop系統，使用命令： start-dfs.sh ，我的主機名是「ctpllt072.local」由「主機名」命令返回。但我連接起的名字節點如下當得到一個奇怪的主機名和消息： Starting namenodes on [aca8ca1d.ipt.aol.com] aca8ca1d.ipt.aol.com: ssh: connect to host aca

0熱度

1回答

從eclipse運行scala應用程序作業時，無法在HDP2.4.0.0-169沙盒上的配置單元上編寫

我正面臨一個使用HDP2.4.0.0-169沙盒的奇怪問題。我有HDP與主機名 - sandbox.hortonworks.com和IP 192.168.159.129，我有所有默認的hadoop和其他服務和運行。我寫了一個Spark代碼，用於在配置單元中創建一個表並讀取HDP上存在的任何現有的配置單元表。我還有一個編寫數據/將數據插入新創建的配置單元表的代碼。只要我使用run作爲Scala

0熱度

1回答

Hadoop MapReduce Shuffle＆Sort：爲什麼需要'組'操作？

'shuffle'的'組'操作是將數據更改爲<key, List <value>>表單，但我的reducer.py無法識別該列表，只是繼續將其視爲標準輸入的一行<key, value>形式。看看下面的代碼： for line in sys.stdin: line = line.strip() word, count = line.split('\t', 1) 爲何還要這樣

0熱度

1回答

MapReduce中Hadoop中不同類型數據集的記錄定義？

我想了解Record的定義MapReduce Hadoop，用於除文本以外的數據類型。通常情況下，對於Text數據記錄是全行終止新行。現在，如果我們想要處理一個XML數據，這個數據是如何處理的，也就是說，Record定義在哪個mapper上工作？我看過有InputFormat和RecordReader的概念，但是我沒有很好地理解它。誰能幫我明白了什麼是各種類型的數據集（非文本）以及如何得到

1熱度

1回答

瞭解Mapreduce代碼

我試圖通過製作電影推薦系統來練習Big Data Mapreduce。我的代碼： *imports public class MRS { public static class Map extends Mapper<LongWritable, Text, Text, Text> { public void map(LongWritable key, Text valu

0熱度

1回答

從Java客戶端運行LoadIncrementalHFiles

我想從我的Java客戶端代碼調用hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /user/myuser/map_data/hfiles mytable方法。當我跑我得到下面的異常應用程序： org.apache.hadoop.hbase.io.hfile.CorruptHFileException: Problem r