hadoop2

0熱度

1回答

如何通過web ui訪問紗線作業日誌？我可以通過紗管經理網站查看工作日誌。但每次紗線重新啓動時，紗線管理器的應用列表都是空的。畫面重新啓動之前我可以通過CLI命令訪問應用程序日誌，即使我重啓紗。 $ HADOOP_HOME/bin中/紗線日誌-applicationId application_1499949542308_0020 的jobhistory服務器網絡用戶界面是空的所有的時間我的

0熱度

1回答

安裝Hadoop - 導出JAVA_HOME =/usr/java/latest

我按照website上的說明安裝Hadoop。但是，我被困在「＃設置爲你的Java安裝的根目錄 export JAVA_HOME=/usr/java/latest」部分。我如何找出Ubuntu上的根？

0熱度

1回答

使用Unix Shell腳本從HBASE中刪除30天以前的快照使用Unix Shell腳本

我想使用shell腳本從HBASE中刪除30天以前的快照。我寫了下面的函數，但該函數將刪除所有快照。 30天的舊邏輯也需要實施。 deleteSnapshot() { echo -e "list_snapshots '${NAMESPACE}_${TABLE}'" | hbase shell -n | grep ''${NAMESPACE}'_'${TABLE}'' 2>/dev/nu

0熱度

3回答

使用Spark Job將文件/數據從共享/ NFS安裝位置放入HDFS時會產生間歇性問題

我有一個使用Yarn作爲羣集管理器[在三節點hadoop羣集上運行]的三節點Spark羣集。考慮一下，我的Hadoop集羣有三個節點[Master，Slave1和Slave2] Resourcemanager在Slave1上的Master和NodaManager上運行& Slave2。 Spark Cluster也存在於三個節點上。在主節點上，我創建了一個文件夾/ data/nfsshare，

1熱度

1回答

爲什麼JPS不顯示進程正在運行？

我使用的Apache的Hadoop的二進制運行Hadoop和我一直在使用下面的命令啓動DFS，紗和先生守護程序： start-dfs.sh start-yarn.sh mr-jobhistory-daemon.sh start historyserver 在這之後一切正常，即，我能看到HDFS UI ，資源amanger UI，作業歷史UI等這裏是JPS命令輸出： sh-3.2# jps

0熱度

1回答

Hadoop：無法加載本機hadoop庫

我知道這是一個跨互聯網的着名問題，並有大量的網站顯示如何解決這個問題，並且地球上也有很多QA。但沒有他們幫助我，我現在感到沮喪。所以我會盡我所能詳細說明，如果我忽略了任何內容，我感謝您的幫助。 **OS** : Ubuntu 16.04 32 bit **Hadoop version** : Hadoop 3.0.0-alpha3 **bashrc** : export HADOOP_HO

2熱度

2回答

CSV數據導出/複製到HDFS將在怪異格式

我使用的是火花的工作，使用下面的代碼行從聲明區讀取csv文件數據以及應對這些數據到HDFS： val conf = new SparkConf().setAppName("WCRemoteReadHDFSWrite").set("spark.hadoop.validateOutputSpecs", "true"); val sc = new SparkContext(conf) val rd

1熱度

1回答

Hadoop的FileUtil.copy簽名

在Hadoop的2.2.0（Hadoop的常見），我看到下面的簽名和文檔爲FileUtil.copy： /** Copy files between FileSystems. */ public static boolean copy(FileSystem srcFS, Path src, FileSystem dstFS, Path dst, boo

0熱度

1回答

未能Hadoop的HDFS執行命令-ls 2.8

HDFS -ls命令不工作，但Hadoop的FS -ls工作正常，我得到了以下錯誤，當使用 hdfs -ls. Unrecognized option: -ls Error: Could not create the Java Virtual Machine. Error: A fatal exception has occurred. The program will exit. 你能不能請

0熱度

1回答

Mapreduce自定義鍵不起作用

我是Map Reduce的新手，並試圖解決一些問題，以便更好地通過實施學習。背景：我從movielens.com數據集，其中有各種電影評級。我正在嘗試計算電影的最大評分，並按照評分計數以降序對最終輸出進行排序（輸出的默認排序是通過電影ID進行的）。我想是這樣的： movieId：RATING_COUNT（排序在RATING_COUNT降序）我搜索網頁和發現，我可以通過自定義按鍵實現這一目標。