Spark使用的YARN容器的命名約定是什麼？

當紗（絲羣集模式）上運行星火職位，紗線產生在有一個看起來是這樣的一個名字容器工人：container_e116_1495951495692_11203_01_000105Spark使用的YARN容器的命名約定是什麼？

什麼是容器的命名約定？

這是我的猜測：

容器 - 只是一個字符串常量，顯然
E116 - 不知道這是。也許與YARN版本有關。
1495951495692_11203 - 應用程序 - ID
- 試圖櫃檯？
- 這可能只是一個增量整數。

如果有任何關於此的具體信息（或者甚至是對代碼中正確位置的參考），我很樂意聽到它。

鑑於以上情況，在YARN上運行Spark作業時，如何知道哪些容器屬於哪個執行程序？

來源

2017-06-01 summerbulb

你可以看一下https://hadoop.apache.org/docs/current/api/org/apache/hadoop/yarn/api/records/ContainerId.html

數據筒的字符串表示。格式是container_e 劃時代 _ clusterTimestamp _ APPID _ attemptId _ 數據筒當劃時代大於0（例如container_e17_1410901177871_0001_01_000005）。當RM重新啓動或故障轉移時，時期增加。當時期爲0時，紀元被省略（例如container_1410901177871_0001_01_000005）。

來源

2017-06-04 11:09:18

containerId如果RM在啓用了工作保持恢復的情況下重新啓動，則字符串格式會更改。它曾經是這樣的格式：
Container_{clusterTimestamp}_{appId}_{attemptId}_{containerId}
例如：Container_1410901177871_0001_01_000005。

它現在改爲：
Container_e{epoch}_{clusterTimestamp}_{appId}_{attemptId}_{containerId}
例如爲：Container_e17_1410901177871_0001_01_000005。

這裏，附加曆元數是從0開始的單調遞增整數，並且每次RM重新啓動時增加1。如果紀元號是0，則它被省略並且字符串格式保持與之前相同。

來源

2017-08-21 10:08:33 Akshay

Spark使用的YARN容器的命名約定是什麼？

回答

相關問題