2016-08-24 25 views
0

當嘗試:如何在Zeppelin中添加eventhub jar或庫文件?

import org.apache.spark.streaming.eventhubs.EventHubsUtils 

,我發現了錯誤:

object eventhubs is not a member of package org.apache.spark.streaming 

我嘗試添加的jar文件使用命令火花streaming_2.10-1.5.1.jar:

z.load("/jars/spark-streaming_2.10-1.5.1.jar") 

我的jar文件被放置在hdfs文件夾下的jar文件夾中。

回答

0

你可以檢查spark-streaming_2.10-1.5.1.jar文件是否有org.apache.spark.streaming.eventhubs.EventHubsUtils類。 (你可以將它重命名爲zip文件或使用jar -tvf檢查相同)。當我從https://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.10/1.5.1 下載文件時,我在jar中看不到該類。

您可以從以下位置

https://github.com/hdinsight/hdinsight-spark-examples/tree/master/sparkstreaming/lib

下載火花流-eventhubs jar文件,我可以看到這個罐子有所需的類。另外我通過spark-shell導入,當我運行導入語句時它工作正常,所以它也應該在zeppelin中工作。

0

即使所需的類是jar文件,我仍然不會面對這個問題。

有沒有辦法讓zeppelin瞭解外部jar中的類文件?

我還在SPARK_HOME/spark-client/conf/spark-defaults.conf中設置了spark.files選項。

但我仍面臨同樣的問題。

相關問題