Hadoop fs -get只複製特定文件

Question

有沒有辦法只複製特定的文件，說基於文件類型使用fs -get或fs -copyToLocal？注意：我希望這是遞歸的並遍歷整個集羣。

想通了，但我不能回答我自己的問題。

以下是我們如何做到的。剛剛寫了一個快速的shell腳本。

mkdir /tmp/txt 

    for F in `hadoop fs -fs hdfs://namenode.mycluster -lsr/| grep '/*.txt$' | awk '{print $NF}'; 
    do 
     hadoop fs -fs hdfs://namenode.mycluster -copyToLocal $F /tmp/las/ 
    done 

Answer 1

下面是我們如何做到的。剛剛寫了一個快速的shell腳本。

LOCAL_DIR=/tmp/txt 
mkdir $LOCAL_DIR 

for F in `hadoop fs -fs hdfs://namenode.mycluster -lsr/| grep '/*.txt$' | awk '{print $NF}'; 
do 
    hadoop fs -fs hdfs://namenode.mycluster -copyToLocal $F $LOCAL_DIR 
done` 

Answer 2

您可以給正則表達式來複制文件。這裏有一個例子在hadoop中使用命令行。這不使用get，但它使用put，它應該與get相同。

事情是這樣的：hadoop fs -get out/*

http://prazjain.wordpress.com/2012/02/15/how-to-run-hadoop-map-reduce-program-from-command-line/

Answer 3

的Hadoop不支持路徑雙星水珠符號，所以沒有超出這樣的盒子方式：

hadoop fs -get /**/*.txt /tmp 

然而，您可以編寫自己的代碼來執行此操作 - 查看FsShell的當前源代碼，並將其與FileInputFormat的listStatus方法（可配置爲接受PathFilter）進行配對。在這個PathFilter中，如果Path是你想要的文件類型，你只能返回true。