我在Azure上使用HDInsight Spark羣集,Jupyter無法添加外部依賴項。嘗試這樣:如何在HDInsight Jupyter上添加外部依賴項?
但是,如果我做一個故意的錯誤:
%%configure
{ "packages":["com.websudos:phantom_2.10:1.27.111111111111"] }
所以這是試圖解決的包,只是沒有加載它們?
我在Azure上使用HDInsight Spark羣集,Jupyter無法添加外部依賴項。嘗試這樣:如何在HDInsight Jupyter上添加外部依賴項?
但是,如果我做一個故意的錯誤:
%%configure
{ "packages":["com.websudos:phantom_2.10:1.27.111111111111"] }
所以這是試圖解決的包,只是沒有加載它們?
您所使用的包裝是不正確的。故意的錯誤實際上是告訴你它不能解決這個包。
看來你可能真的想要使用的包是com.websudos:phantom-spark
,因爲這是他們構建Spark支持的內容? Link
%%configure -f
{ "packages":["com.websudos:phantom-spark_2.10:1.8.0"] }
,然後可以導入
import com.websudos.phantom.spark._
但是,如果你想要的是火花卡桑德拉連接器,該datastax connector似乎是使用一個。
我應該說我以前從未在Cassandra中使用過Spark,所以請在網上關注如何設置它們。
這從HDInsight網站的文章可以幫助你: https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-jupyter-notebook-use-external-packages/
我知道,這就是我所嘗試的,正如你在屏幕截圖中看到的那樣。 – ixaxaar
這就是我已經理解的,幻影不支持spark中的代碼分發,只有那些軟件包不能在jupyter上工作(如果我點火提交它們,那麼這些軟件就可以工作)。幻影火花不是開源的AFAIK。是的,spark-cassandra-connector有助於存儲數據幀,但我想用卡桑德拉的計數器來處理一些自定義的東西,無論如何,謝謝! – ixaxaar
你可以分享你正在執行的spark-submit命令嗎?它可以工作嗎? – aggFTW
對不起,不能。已移至AWS。 – ixaxaar