在PIG中合併零件文件

我們如何合併這些n個零件文件（來自豬操作的輸出文件）。我必須將這些文件合併爲一個，然後將其用作配置單元中的輸入。我嘗試使用-cat和-getmerge，但沒有運氣。任何建議都會有幫助。在PIG中合併零件文件

感謝

2017-01-25 Purva Sharma

可能重複[如何使用加載命令加載文件夾中的多個文本文件？]（http://stackoverflow.com/questions/23622288/how-to-load-multiple-text-files-in-一個文件夾合豬使用的負載命令） –

Hadoop的FileUtil類有一個copyMerge方法，處理得非常好多個零件文件的問題。

它會將您提供的文件夾中的所有文件（儘管不會遞歸地查看）並將它們連接在一起以生成單個文件。

來源

2017-01-25 13:26:08

您可以在下面的方式指定文件

A = LOAD '/hdfs/OUTPUT/ReliableProducts-r-*' using PigStorage('\t') as (Sid:int,Sname:chararray,Ttrading:chararray,Sloc:chararray,OBal:int,CBal:int,Frate:int);

希望這有助於！

來源

2017-01-25 09:41:09 Bhavesh

在PIG中合併零件文件

回答

相關問題