未指定Spark-shell路徑例外

我在Linux上使用2.1版的spark shell。未指定Spark-shell路徑例外

./bin/spark-shell --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.1.0

星火殼以及啓動沒有任何問題。

val ds1 = spark.readStream.option("kafka.bootstrap.servers", "xx.xx.xxx.xxx:9092,xx.xx.xxx.xxx:9092").option("subscribe", "MickyMouse").load()

我得到下面的異常

java.lang.IllegalArgumentException: 'path' is not specified 
    at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$9.apply(DataSource.scala:205) 
    at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$9.apply(DataSource.scala:205) 
    at scala.collection.MapLike$class.getOrElse(MapLike.scala:128) 
    at org.apache.spark.sql.catalyst.util.CaseInsensitiveMap.getOrElse(CaseInsensitiveMap.scala:23) 
    at org.apache.spark.sql.execution.datasources.DataSource.sourceSchema(DataSource.scala:204) 
    at org.apache.spark.sql.execution.datasources.DataSource.sourceInfo$lzycompute(DataSource.scala:87) 
    at org.apache.spark.sql.execution.datasources.DataSource.sourceInfo(DataSource.scala:87) 
    at org.apache.spark.sql.execution.streaming.StreamingRelation$.apply(StreamingRelation.scala:30) 
    at org.apache.spark.sql.streaming.DataStreamReader.load(DataStreamReader.scala:124) 

The kafka server is up and running.

任何想法如何，我可以成功地從卡夫卡源讀取。

來源

2017-04-27 user1959730

您忘記撥打format方法。默認格式爲parquet。這就是爲什麼它正在尋找一條道路。將代碼更改爲spark.readStream.format("kafka").option...可以解決此問題。

來源

2017-04-27 00:58:38 zsxwing

我之前嘗試過：val ds1 = spark.readStream.format（「kafka」）。option（「kafka.bootstrap.servers」，「xx.xx.xxx.xxx:9092,xx.xx.xxx。（）「）; load（）java.lang.ClassNotFoundException：找不到數據源：kafka。請在http://spark.apache.org/third-party-projects.html找到軟件包，我嘗試在網頁上查找，但不知道如何解決問題。感謝您的答覆。欣賞它 – user1959730

引發：java.lang.ClassNotFoundException：kafka.DefaultSource at scala.reflect.internal.util.AbstractFileClassLoader.findClass（AbstractFileClassLoader.scala：62） at java.lang.ClassLoader.loadClass（ClassLoader.java:424 ） at java.lang.ClassLoader.loadClass（ClassLoader.java:357） – user1959730

您需要將結構化流式Kafka連接器添加到您的類路徑中。請參閱http://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html#deploying確保更改參數以匹配您的Scala版本。 – zsxwing

未指定Spark-shell路徑例外

回答

相關問題