2016-08-26 24 views
0

我在Azure上使用HDInsight Spark羣集,Jupyter無法添加外部依賴項。嘗試這樣:如何在HDInsight Jupyter上添加外部依賴項?

enter image description here

但是,如果我做一個故意的錯誤:

%%configure 
{ "packages":["com.websudos:phantom_2.10:1.27.111111111111"] } 

所以這是試圖解決的包,只是沒有加載它們?

enter image description here 是否有任何其他方式使這件事情的工作?

回答

1

您所使用的包裝是不正確的。故意的錯誤實際上是告訴你它不能解決這個包。

看來你可能真的想要使用的包是com.websudos:phantom-spark,因爲這是他們構建Spark支持的內容? Link

%%configure -f 
{ "packages":["com.websudos:phantom-spark_2.10:1.8.0"] } 

,然後可以導入

import com.websudos.phantom.spark._ 

但是,如果你想要的是火花卡桑德拉連接器,該datastax connector似乎是使用一個。

我應該說我以前從未在Cassandra中使用過Spark,所以請在網上關注如何設置它們。

+0

這就是我已經理解的,幻影不支持spark中的代碼分發,只有那些軟件包不能在jupyter上工作(如果我點火提交它們,那麼這些軟件就可以工作)。幻影火花不是開源的AFAIK。是的,spark-cassandra-connector有助於存儲數據幀,但我想用卡桑德拉的計數器來處理一些自定義的東西,無論如何,謝謝! – ixaxaar

+0

你可以分享你正在執行的spark-submit命令嗎?它可以工作嗎? – aggFTW

+0

對不起,不能。已移至AWS。 – ixaxaar

相關問題