Flink 1.1.3與蜂巢2.1.0互動

Question

請原諒我帶來的不便，但我在Doc或Internet上找不到答案。

我有一個平臺：

• 的Hadoop 2.7.3
• 蜂巢2.1.0
• HBASE 1.2.4
• 星火1.6

我已經集成弗林克1.1 .3在本地模式和紗線模式下使用它。

我有興趣使用Flink和Hive（與Spark一起使用hiveContext）讀取scala-shell中的數據，這有可能嗎？如何 ？

問候。

Answer 1

Flink不支持直接連接到Hive，因爲它在具有SQL上下文的Spark中受支持。但有使用Flink Table API

你需要做的是首先讓你想例如，用弗林克分析蜂房表的確切位置HDFS在什麼分析弗林克在蜂巢表數據的簡單方法

hdfs://app/hive/warehouse/mydb/mytable 

然後將數據讀

DataSet<Record> csvInput = env 
      .readCsvFile("hdfs://app/hive/warehouse/mydb/mytable/data.csv") 
      .pojoType(MyClass.class, "col1", "col2", "col3"); 

然後，你需要從DataSet中創建一個表，然後用TableEnvironment註冊它

Table mytable = tableEnv.fromDataSet(csvInput); 
tableEnv.registerTable("mytable", mytable); 

現在你都設置查詢此表使用Table API語法。

這裏是一個link的示例代碼。

希望這會有所幫助。