在Pig中解析複雜的JSON字符串

Question

我想在Pig中解析一個複雜的JSON字符串。具體來說，我希望Pig將我的JSON數組理解爲一個包而不是一個單獨的chararray。當使用JsonLoader時，我可以通過指定模式來輕鬆完成此操作，如this question。有什麼辦法可以讓Pig找出我的模式，或者當Pig解析一個字符串時指定它嗎？我一直在使用JsonStringToMap，但找不到指定Schema的方法，或者沒有正確理解我的JSON數組是一個數組而不是單個chararray。

Answer 1

我使用JsonTupleMap()結束了Mozilla's Akela library for pig。它通過解析我所有的JSON來完成我想要的東西，即使它非常複雜，甚至在我不提供模式時也會這樣做。如果你碰到和我一樣的問題，請使用它。

用法示例：

REGISTER '/path/to/akela-0.5-SNAPSHOT.jar'; 
DEFINE JsonTupleMap com.mozilla.pig.eval.json.JsonTupleMap(); 
loaded = LOAD '$INPUT' AS (json_string:chararray, ...); 
jsonified = FOREACH loaded GENERATE JsonTupleMap(json_string) AS json:map[], ...; 
some_generate = FOREACH jsonified GENERATE json#'key'#'sub_key';