如何通過hadoop mapreduce作業訪問windows/unix目錄中的文本文件

Question

我想將日誌文件從windows/unix環境複製到特定目錄結構中的HDFS。我知道我可以在hadoop shell中做copyFromLocal，但是可以通過使用Mapper的java代碼來完成。

Answer 1

如果你的意思是複製從本地計算機本地文件（或目錄）到HDFS，這裏是代碼：

Configuration conf = new Configuration(); 
    FileSystem fs = FileSystem.get(conf); 
    Path localPath = new Path("your_local_path"); 
    Path remotePath = new Path("your_hdfs_path"); 
    fs.copyFromLocalFile(localPath, remotePath);