2014-09-03 93 views

回答

2

這篇文章有關連接星火隨着HBase的應該是有幫助的:http://www.vidyasource.com/blog/Programming/Scala/Java/Data/Hadoop/Analytics/2014/01/25/lighting-a-spark-with-hbase

Do I just add the hbase address into spark classpath?

號其實,你應該把HBase的configuraion文件火花類路徑。如果沒有,你應該在你的代碼中設置它們,例如:

Configuration hConf = HBaseConfiguration.create(conf); 
    hConf.set("hbase.zookeeper.quorum", "PDHadoop1.corp.CompanyName.com,PDHadoop2.corp.CompanyName.com"); 
    hConf.setInt("hbase.zookeeper.property.clientPort", 10000); 
+1

你能告訴我如何將hbase配置文件放在spark類路徑上嗎?是這樣的 - 出口SPARK_CLASSPATH = /路徑/到/ hbase/conf? – RisJi 2014-09-04 14:00:43

+0

是的。但它只用於驅動程序。你可以閱讀上面的帖子。它在代碼中讀取hbase-site.xml。 – zsxwing 2014-09-04 14:25:23

+0

謝謝!但是現在我得到一個錯誤:java.lang.NoSuchMethodError:org.apache.hadoop.net.NetUtils.getInputStream(Ljava/net/Socket;)Ljava/io/InputStream; \t at org.apache.hadoop.hbase.ipc.HBaseClient $ Connection.setupIOstreams(HBaseClient.java:437) – RisJi 2014-09-09 20:59:43