如何解碼來自列的Pig中的JSON？

Question

有很多關於如何使用JsonLoader()從文件中加載JSON數據與模式的例子，但不是來自任何其他輸出。

Answer 1

您正在尋找象鳥提供的JsonStringToMap UDF：https://github.com/kevinweil/elephant-bird/search?q=JsonStringToMap&ref=cmdform

示例文件：

foo  bar  {"version":1, "type":"an event", "count": 1} 
foo  bar  {"version":1, "type":"another event", "count": 1} 

豬腳本：

REGISTER /path/to/elephant-bird.jar; 
DEFINE JsonStringToMap com.twitter.elephantbird.pig.piggybank.JsonStringToMap(); 
raw = LOAD '/tmp/file.tsv' USING PigStorage('\t') AS (col1:chararray,col2:chararray,json_string:chararray); 
parsed = FOREACH raw GENERATE col1,col2,JsonStringToMap(json_string); 
ILLUSTRATE parsed; -- Just to show the output 

預處理（JSON作爲chararray /串）：

------------------------------------------------------------------------------------------------------- 
| raw  | col1:chararray | col2:chararray | json_string:chararray        | 
------------------------------------------------------------------------------------------------------- 
|   | foo    | bar    | {"version":1, "type":"another event", "count": 1} | 

後處理（JSON如地圖）：

---

------------------------------------------------------------------------------------------------- 
| parsed  | col1:chararray | col2:chararray | json:map(:chararray)      | 
------------------------------------------------------------------------------------------------- 
|   | foo    | bar    | {count=1, type=another event, version=1} | 
------------------------------------------------------------------------------------------------- 

這個問題的How to parse a JSON string from a column with Pig

重複