使用Spark中的Get命令從Hbase讀取數據

Question

我想使用get命令從Hbase表讀取數據，同時我也有行的關鍵字..我想在Spark流應用程序中執行此操作，是否有任何源代碼可以分享？

Answer 1

您可以使用Spark newAPIHadoopRDD來讀取Hbase表格，該表格返回RDD。

例如：

val sparkConf = new SparkConf().setAppName("Hbase").setMaster("local") 
val sc = new SparkContext(sparkConf) 
val conf = HBaseConfiguration.create() 
val tableName = "table" 

conf.set("hbase.master", "localhost:60000") 
conf.set("hbase.zookeeper.quorum", "localhost:2181") 
conf.set("zookeeper.znode.parent", "/hbase-unsecure") 
conf.set(TableInputFormat.INPUT_TABLE, tableName) 


val rdd = sc.newAPIHadoopRDD(conf, classOf[TableInputFormat], classOf[ImmutableBytesWritable], classOf[Result]) 
println("Number of Records found : " + rdd.count()) 
sc.stop() 

或者你可以使用任何星火HBase的連接器像HortonWorks HBase的連接器。

https://github.com/hortonworks-spark/shc

您還可以使用火花鳳凰API。

https://phoenix.apache.org/phoenix_spark.html