2017-04-03 46 views
1

我正在使用DSE 4.8。我試圖通過使用 進口org.apache.spark.streaming.twitter.TwitterUtils如何從scala導入TwitterUtils庫

它的示值誤差導入twitterutils庫:

object twitter is not a member of package org.apache.spark.streaming.

請讓我知道如何添加包,這樣我可以流微博數據

回答

0

我想你錯過了添加依賴spark-streaming-twitter。

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-twitter_2.10 --> 
<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-streaming-twitter_2.10</artifactId> 
    <version>1.6.1</version> 
</dependency> 

如果您有互聯網連接,您可以使用--package選項讓spark自動爲您下載jar包。

spark-shell --packages org.apache.bahir:spark-streaming-twitter_2.11:2.1.0 

**庫的變化版本,按您的火花(斯卡拉)版本

+0

我新來的火花。你能告訴我在哪裏添加依賴關係嗎? –

+0

那麼,您是否使用maven或任何其他工具進行依賴關係管理? – RBanerjee

+0

如果沒有,您可以嘗試從http://central.maven.org/maven2/org/apache/spark/spark-streaming-twitter_2.10/1.6.1/spark-streaming-twitter_2.10-1.6.1下載jar .jar。但它可能有其他的依賴關係,你需要自己來確定它。最好使用依賴管理工具。 – RBanerjee