apache pig如何在filenames.txt中加載文件

Question

我有一個存儲在filenames.txt中的文件名列表。是否可以使用單個LOAD命令將它們全部加載到一起？

它們不在同一個目錄中，也沒有類似的格式，所以它不像20130801.gz到20130831.gz那樣使用/ 201308加載。

再加上有太多的文件列表，阻止我做喜歡this：

殼：豬-f script.pig -param輸入= /用戶/培訓/測試/ {20100810 .. 20100812}

pig：temp = LOAD'$ input'使用SomeLoader（）AS（...）;

在此先感謝您的見解！

Answer 1

如果文件的數量是相當小的（例如：在命令行中，你融入ARG_MAX），你可以嘗試將文件中的行Concat的到一個字符串：

pig -param input=`cat filenames.txt | tr "\n" ","` -f script.pig 

script.pig: 
A = LOAD '$input' .... 

也許會更好列出目錄而不是單個文件，如果它是你的選擇。