0
我正在嘗試集成Spark和Hbase,並通過python使用它,並繼續獲取與ClassNotFound相關的錯誤。 (線77 -83)這裏是我使用的代碼:https://github.com/apache/spark/blob/master/examples/src/main/python/hbase_inputformat.py#L70ClassNotFound:apache.hadoop.io.ImmutableBytesWritable使用Python集成Spark與Hbase
。我不確定Java類的目錄結構,因爲我無法導航到我可以找到所有這些類的文件夾。無論如何,有人可以告訴我如何獲得org.apache.hadoop.hbase.io.ImmutableByteWritable?
你如何提交你的申請?我想你使用spark-submit,查找選項'--jars',並將路徑傳遞給hbase-client.jar對應於您的hbase版本 –
我使用pyspark並啓動python spark driver = ipython來設置所有內容。我在ipython shell中運行命令。 – mousecoder
是的,看看'--jars'選項。如果您遇到問題,請查看https://issues.apache.org/jira/browse/SPARK-5185。但首先嚐試做像'bin/pyspark --jars /path/to/hbase-client.jar ...' –