如何將Hive中的Array [Struct [String，String]]列類型投射到Array [Map [String，String]]？

Question

我在一個蜂巢表已經列：

列名：過濾器

數據類型：

|-- filters: array (nullable = true) 
| |-- element: struct (containsNull = true) 
| | |-- name: string (nullable = true) 
| | |-- value: string (nullable = true) 

我想通過它的相應的名稱得到此列的值。

我做了什麼至今：

val sdf: DataFrame = sqlContext.sql("select * from <tablename> where id='12345'") 

val sdfFilters = sdf.select("filters").rdd.map(r => r(0).asInstanceOf[Seq[(String,String)]]).collect() 

Output: sdfFilters: Array[Seq[(String, String)]] = Array(WrappedArray([filter_RISKFACTOR,OIS.SPD.*], [filter_AGGCODE,IR]), WrappedArray([filter_AGGCODE,IR_])) 

注：鑄造於Seq因爲WrappedArray到地圖的轉換是不可能的。

接下來要做什麼？

Answer 1

I want to get the value from this column by it's corresponding name. 

如果你想簡單和可靠的方式來獲得按名稱的所有值，你可以使用爆炸和過濾彙整表：

case class Data(name: String, value: String) 
case class Filters(filters: Array[Data]) 

val df = sqlContext.createDataFrame(Seq(Filters(Array(Data("a", "b"), Data("a", "c"))), Filters(Array(Data("b", "c"))))) 
df.show() 
+--------------+ 
|  filters| 
+--------------+ 
|[[a,b], [a,c]]| 
|  [[b,c]]| 
+--------------+ 

df.withColumn("filter", explode($"filters")) 
    .select($"filter.name" as "name", $"filter.value" as "value") 
    .where($"name" === "a") 
    .show() 
+----+-----+ 
|name|value| 
+----+-----+ 
| a| b| 
| a| c| 
+----+-----+ 

您也可以收集你的數據，你想要的任何方式：

val flatDf = df.withColumn("filter", explode($"filters")).select($"filter.name" as "name", $"filter.value" as "value") 
flatDf.rdd.map(r => Array(r(0), r(1))).collect() 
res0: Array[Array[Any]] = Array(Array(a, b), Array(a, c), Array(b, c)) 
flatDf.rdd.map(r => r(0) -> r(1)).groupByKey().collect() //not the best idea, if you have many values per key 
res1: Array[(Any, Iterable[Any])] = Array((b,CompactBuffer(c)), (a,CompactBuffer(b, c))) 

如果你想投array[struct]到map[string, string]爲未來保存到一些存儲 - 這是不同的S tory，這種情況可以通過UDF解決。無論如何，只要可以保持代碼的可擴展性，就必須避免使用collect()。