yarn

0熱度

1回答

當運行start-all.sh我SLAVE1和SLAVE2不能在節點管理器與JPS VM VirtualBox的主發現在Ubuntu 16.04 工作 [email protected]:~$ jps 15920 Jps 15505 SecondaryNameNode 15659 ResourceManager 15293 NameNode SLAVE1 [email protect

0熱度

1回答

帶Nutch的Apache Hadoop 2.7.4嘗試失敗，出於任何原因

我已經用2.3.1配置了Apache Hadoop 2.7.4，Hbase 1.2.6和Solr 6.6.1。我mapred-site.xml所有節點上是 <property> <name>mapreduce.jobtracker.address</name> <value>master:9001</value> </property> <property> <

1熱度

1回答

Spark - 什麼觸發一個火花作業被重新嘗試？

爲了教育目的，我試圖讓Yarn + Spark重新嘗試我的Spark工作（即失敗，並在另一個應用程序嘗試中將其重新安排到紗線上）。各種故障似乎會導致Spark作業重新運行;我知道我已經看過這麼多次了。但是我很難模擬它。我試圖強制停止流上下文，並調用System.exit（-1），既沒有達到預期的效果。

0熱度

1回答

Kerberos票據未能通過java代碼續約長時間運行的工作

我們無法續訂使用Java代碼從密鑰表Kerberos用戶車票，而它的工作與「使用kinit -R」代碼： UserGroupInformation loginUser = UserGroupInformation.getLoginUser（）; loginUser.checkTGTAndReloginFromKeytab（）; 請幫我一把。

0熱度

1回答

在使用資源的火花提交後，是否有辦法收集統計信息？

我正在使用火花和紗線作爲我的資源經理。我試着找到一種方法來收集運行後分配給作業的資源。資源管理器僅報告當前使用情況，因此在完成後將其清零。如果在事實之後我不能得到它們，有什麼方法讓Spark工作在最後輸出/存儲時積累統計信息？

0熱度

1回答

火花內存使用集中在驅動程序/主

我目前正在開發Spark（v 2.2.0）Streaming應用程序，並且遇到Spark似乎在整個集羣中分配工作的問題。此應用程序使用客戶端模式提交給AWS EMR，因此有一個驅動程序節點和一對工作節點。下面是神經節的截圖，顯示在過去一小時內存使用： Ganglia Screenshot 最左邊的節點是「主」或「驅動程序」節點，另外兩個是工作節點。所有三個節點的內存使用率都會出現峯值，這些峯值與通

0熱度

1回答

分配紗構造的火花命令EMR

我們有一個運行火花命令，但我們正面臨着一些磁盤空間問題所以我們想利用 conf,yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk- percentage=99.0 ，但我們得到了我們的日誌Warning: Ignoring non-spark config property: yarn.nodem

3熱度

1回答

只有一個spark-submit允許在spark-yarn集羣環境中運行

我設置了spark-yarn集羣環境，spark（2.2.0）在Windows 7中;紗線簇是hadoop 2.7.3。我跑「火花殼」使用SparkSQL： spark-shell --master yarn --deploy-mode client --conf spark.yarn.archive=hdfs://hadoop_273_namenode_ip:namenode_port/spa

3熱度

2回答

爲什麼我無法用spark-submit覆蓋num-executors選項？

我試圖重寫火花性能，如num-executors在提交應用程序火花提交如下：但是它與執行人是2的默認號碼運行 spark-submit --class WC.WordCount \ --num-executors 8 \ --executor-cores 5 \ --executor-memory 3584M \ ...../<myjar>.jar \ /public/blahblahb

0熱度

1回答

Hadoop 2.x上的應用程序（作業）列表爲空

我在macOS Sierra（Darwin內核版本16.7.0）上安裝Hadoop 2.8.1，並且它工作正常，除了應用程序/任務跟蹤。 1）起初，我認爲這是資源管理器Web界面的問題。所以：我已經將yarn-site.xml模板複製到etc/yarn-site.xml文件中，但它沒有幫助。我試圖改變默認的'博士。誰在Resource manager（http://localhost:1808