2015-09-25 68 views
0

我正在嘗試集成Spark和Hbase,並通過python使用它,並繼續獲取與ClassNotFound相關的錯誤。 (線77 -83)這裏是我使用的代碼:https://github.com/apache/spark/blob/master/examples/src/main/python/hbase_inputformat.py#L70ClassNotFound:apache.hadoop.io.ImmutableBytesWritable使用Python集成Spark與Hbase

錯誤,它給我的是:我是新來的Java enter image description here

。我不確定Java類的目錄結構,因爲我無法導航到我可以找到所有這些類的文件夾。無論如何,有人可以告訴我如何獲得org.apache.hadoop.hbase.io.ImmutableByteWritable?

+0

你如何提交你的申請?我想你使用spark-submit,查找選項'--jars',並將路徑傳遞給hbase-client.jar對應於您的hbase版本 –

+0

我使用pyspark並啓動python spark driver = ipython來設置所有內容。我在ipython shell中運行命令。 – mousecoder

+0

是的,看看'--jars'選項。如果您遇到問題,請查看https://issues.apache.org/jira/browse/SPARK-5185。但首先嚐試做像'bin/pyspark --jars /path/to/hbase-client.jar ...' –

回答

0

此文件是HBase的一部分。

請確保您已在項目中包含此依賴項(Jar,Maven Dependency)。

您可以執行mvn dependency:tree並確保您已包含此依賴項。