使用elephantbird加載json - 使用簡單任務發生錯誤

Question

我簡單地加載數據來測試和分析時遇到問題。 我使用

https://www.reddit.com/r/datasets/comments/3oiv9z/reddit_september_comment_archive_is_now_available/

使用只得到10000線從這個文件我嘗試將它們加載到豬後。

即使像這樣簡單的東西返回錯誤。

REGISTER '/user/cloudera/json-simple-1.1.1.jar' 
REGISTER '/user/cloudera/elephant-bird-pig-4.1.jar' 
REGISTER '/user/cloudera/elephant-bird-hadoop-compat-4.1.jar' 

a = LOAD '/user/cloudera/top' USING com.twitter.elephantbird.pig.load.JsonLoader() as (json:map[]); 

錯誤代碼：

Main類[org.apache.oozie.action.hadoop.PigMain]，退出代碼[2]

Answer 1

嘗試運行此

REGISTER 'elephant-bird-pig-4.1.jar'; 
REGISTER 'elephant-bird-hadoop-compat-4.1.jar'; 

input = LOAD '/input/file' USING com.twitter.elephantbird.pig.load.JsonLoader('-nestedLoad') AS input_map;