2016-06-18 58 views
1

我試圖在將它加載到豬時跳過CSV文件的標頭。CSVExcelStorage沒有跳過標頭,豬豬

REGISTER /usr/hdp/2.3.4.0-3485/pig/lib/piggybank.jar; 
define CSVExcelStorage org.apache.pig.piggybank.storage.CSVExcelStorage; 

transactions = load 'hdfs://vm1.local:8020/user/root/transcations/trans.csv' USING CSVExcelStorage(',','NO_MULTILINE', 'UNIX', 'SKIP_INPUT_HEADER') 

但是當我轉儲transactions我也得到標題。 我使用Apache Pig 0.15 謝謝。

回答

0

解決上述問題是 - > DEFINE CSVExcelStorage org.apache.pig.piggybank.storage.CSVExcelStorage( '', 'NO_MULTILINE', 'UNIX', 'SKIP_INPUT_HEADER');. - > transactions = load'hdfs://vm1.local:8020/user/root/transcations/trans.csv'USING CSVExcelStorage();

我發現傳統的定義別名到UDF的方式在這種情況下不起作用。