hadoop2

0熱度

1回答

多臺Java實例正在我的機器上運行，我想檢查Hadoop文件是否已在任何實例中以寫（fs.create(file) or fs.append(file)）模式打開。我嘗試了Hadoop文件的FileStatus，沒有找到任何東西。有什麼辦法可以檢查Hadoop文件是否已經打開寫入？一種方法是嘗試再次創建/附加文件並捕獲異常，但我有數千個文件，並且不想嘗試每個文件。另外，如果create/ap

0熱度

1回答

Sqoop導出失敗 - 未找到ExportBatchOutputFormat

當我嘗試將配置單元分區導出到Oracle數據庫時，導出失敗，我無法弄清楚爲什麼...有人可以幫助我嗎？的My Oracle表： CREATE TABLE "GFPROGNOSE"."HADOOP_TEST" ("COLUMN1" VARCHAR2(255), "COLUMN2" VARCHAR2(255), "COLUMN3" VARCHAR2(255),

0熱度

1回答

Ambari Hadoop集羣+最好的方式來修改配置

我們有ambari集羣，和客戶端安裝在Linux RedHat的機器， yum list | grep ambari-server ambari-server.x86_64 2.5.0.3-7 @ambari-2.5.0.3 我們找到了一個很好的方式來設置一個更新的ambari集羣作爲一個值的以下：更新的參數（從Ambari服務器機器） /var/lib/ambari-ser

0熱度

1回答

紗線UI在HDFS UI中不顯示活動節點

我在我的筆記本電腦中設置了Hadoop，，並且當我在Hadoop（儘管MapReduce和Tez）上提交作業時，狀態始終爲「已接受」，但始終進展停留在0％，描述寫了類似「等待AM容器分配」的內容。當我檢查通過YARN UI（本地主機：8088）的節點，它表明活性節點是0 但是從HDFS UI（本地主機：50070），它顯示有是一個活節點。是那個導致作業卡，因爲沒有可用的節點的主要原因是什

0熱度

1回答

Hadoop的NameNode會不啓動與「sbin目錄/ start-dfs.sh」但隨着「斌/ Hadoop的NameNode的」做（儘管沒有錯誤顯示）

如果我運行： sbin/start-dfs.sh 那麼它不盡管印刷真正開始的NameNode： Starting namenodes on [0.0.0.0] 0.0.0.0: starting namenode, logging to /home/myuser/apps/hadoop-2.7.4/logs/hadoop-myuser-namenode-mybox.out localhos

0熱度

1回答

如何使用作業名稱從YARN日誌獲取用於完成的hadoop作業的資源？

我有一個運行多個配置單元腳本的unix shell腳本。我已經爲配置單元腳本中的每個配置單元查詢提供了Job名稱。我需要的是，在shell腳本的末尾，我想根據YARN日誌/應用程序中的作業名稱檢索用於配置單元查詢的資源（根據使用的內存，容器），具有appstatus as'FINISHED' 我該怎麼做？任何幫助，將不勝感激。

0熱度

1回答

火花寫入結果[數組[不限]]到文件

我有輸入像以下示例 3070811,1963,1096,,"US","CA",,1, 3022811,1963,1096,,"US","CA",,1,56 3033811,1963,1096,,"US","CA",,1,23 寫入用0替換空字符後，我試圖將結果寫入文本文件，我越來越 scala> result.saveAsTextFile("data/result") <console>

0熱度

1回答

對HBase的出口表thorws運行的MapReduce找不到價值類解串器：「org.apache.hadoop.hbase.client.Result

我一直在使用HBase的出口實用工具所採取的HBase的表備份。 hbase org.apache.hadoop.hbase.mapreduce.Export "FinancialLineItem" "/project/fricadev/ESGTRF/EXPORT" 這已經踢在mapreduce並將我所有的表數據轉移到輸出文件夾。根據該文件，輸出文件的文件格式將是序列文件。所以我跑下面的代

0熱度

1回答

Hive Failed SemanticException

Hive vertion:apache-hive-2.3.0 hive> select TAG_EMOTION_KEY AS key,count(1) AS cnn from NB_ORDER_RATE_EMOTION t where t.cnn>10 group by TAG_EMOTION_KEY ; FAILED: SemanticException [Error 10002]: Lin

-1熱度

1回答

使用紗線執行作業的步驟

我是Hadoop的新手。什麼是正確的MR應用程序主和容器？使用紗線執行作業的步驟是什麼？感謝您的幫助