將輸出存儲在PIG中的文本文件中

Question

我需要將最終輸出存儲在PIG中的文本文件中。

我的要求是：

讓'Test'是最終的輸出文件，我需要將其存儲在一個路徑。 說，'/path/'

我的代碼：

a = LOAD 'example.csv' USING PigStorage(';'); 

b = FOREACH a GENERATE $0,$1,$2,$3,$6,$7,$8,$9,$11,$12,$13,$14,$20,$24,$25; 

STORE b INTO ‘myoutput’; 

當我試圖挽救最後是越來越保存爲partfile。 但我需要在另一個關係中加載此輸出。 如果我能夠將其保存爲文本文件，我可以加載它，但我可以在加載中使用零件文件嗎？ 請建議將輸出保存在文本文件中。

Answer 1

瞭解STORE命令加載到文件。請參閱本教程： https://pig.apache.org/docs/r0.7.0/piglatin_ref2.html#STORE

STORE b INTO ‘myoutput.txt’ using PigStorage(','); 

Answer 2

您可以使用正則表達式*加載存儲的關係。

STORE b INTO '/path/' USING PigStorage(','); 

並加載它置身於另一個關於這個

a = LOAD '/path/part-*' INTO USING PigStorage(',');