Q

spark-shell錯誤YarnScheduler：丟失的執行程序

2016-04-14 22 views 1 likes

1

spark-shell裏面我不斷收到我的評論提交之間的以下錯誤消息。這些可能是關於什麼的？spark-shell錯誤YarnScheduler：丟失的執行程序

階> 16/04/12 12時49分14秒ERROR YarnScheduler：丟失的執行者2上XXXXXXXX：遠程RPC客戶端解除關聯 16/04/12 12時49分14秒ERROR YarnScheduler：丟失的執行5上XXXXXXXX：遠程RPC客戶端解除關聯 16/04/12 12時49分16秒ERROR YarnScheduler：失落的執行4 XXXXXXXX：遠程RPC客戶端取消關聯

2016-04-14 Ruxi Zhang

+0

這太寬而不能回答，但我會考慮的第一件事就是內存開銷性能火花 – eliasah

+0

我同意給紗，我肯定會檢查由紗線日誌給出的內存開銷屬性。 –

A

回答

1

如果您配置了動態資源分配，這些錯誤會顯示在不需要的資源被釋放到紗。錯誤級別似乎誤導我，也許INFO會更合適。 http://spark.apache.org/docs/latest/job-scheduling.html#dynamic-resource-allocation

編輯：這應該是固定在星火1.6 https://issues.apache.org/jira/browse/SPARK-4134

2016-04-16 16:24:33

+0

謝謝，我認爲這完全有道理。 –

相關問題