添加卡夫卡罐後，Spark無法連接到YARN資源管理器

我想用卡夫卡鉤住Spark。以前，Spark工作正常，但沒有這個功能。我安裝了spark-streaming-kafka-spark-streaming-kafka-0-8-assembly罐子到我的罐子星火文件夾，現在當我嘗試提交一個任務，我得到添加卡夫卡罐後，Spark無法連接到YARN資源管理器

INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 
INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); 
retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

的作業掛起，而它不斷嘗試連接。我有紗-site.xml中指定的資源管理器的IP地址 - 它有

<property> 
    <name>yarn.resourcemanager.address.rm1</name> 
    <value>my.Server.Name:8032</value> 
</property>

如此看來，該地址被改寫 - 我不知道爲什麼或如何能避免這種情況。

更新：如果我將JAR文件移動到Jar文件夾的外部，並將其與--jars包含在一起，那麼我不會得到掛起。然而，當我嘗試創建一個直接的卡夫卡流時，我得到了n error occurred while calling o28.createDirectStreamWithoutMessageHandler. : java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce。我不確定這是版本不匹配還是什麼。

來源

2017-04-03 Andrew

檢查是否爲相同的scala版本添加了所有依賴項。無論是2.10還是2.11。 – RBanerjee

提供完整的pom或build.sbt – RBanerjee

我通過將jar升級到正確版本--2.11/2.1.0來解決這個問題。您還需要將其放在Spark jars文件夾之外。

來源

2017-04-06 22:47:48 Andrew

添加卡夫卡罐後，Spark無法連接到YARN資源管理器

回答

相關問題