如何在hadoop集羣環境中提取.gz文件？

如何通過java代碼在hadoop集羣環境中提取.gz文件，而無需將文件複製到本地（通過代碼直接在hadoop中提取）？如何在hadoop集羣環境中提取.gz文件？

來源

2016-09-20 Jacky Coogan

這是輸入到MapReduce作業嗎？ –

@BinaryNerd號 –

「gunzip -k file.gz」通常用於解壓.gz文件，同時保留原始.gz，它是你在找什麼？

來源

2016-09-20 08:51:19 Raun

不....我想在java中的代碼提取....需要通過代碼....不通過終端... –

考慮你的。廣州文件中有一個文件，你可以這樣做：

Configuration conf = new Configuration(); 
FileSystem fs = FileSystem.get(conf); 
Path inFile = new Path(argv[0]); 
Path outFile = new Path(argv[1]); 

FSDataInputStream in = fs.open(inFile); 
org.apache.hadoop.io.compress.GzipCodec.GzipInputStream gis = new org.apache.hadoop.io.compress.GzipCodec.GzipInputStream(in); 
FSDataOutputStream out = fs.create(outFile); 

doCopy(gis, out); 

public static void doCopy(FSDataInputStream is, FSDataOutputStream os) throws Exception { 
    int oneByte; 
    while ((oneByte = is.read()) != -1) { 
     os.write(oneByte); 
    } 
    os.close(); 
    is.close(); 
}

來源

2016-09-20 10:34:58

這樣做的其他方式，你可以創建一個shell腳本並運行時，你需要相同的腳本。或者你試着在你的代碼中實現終端命令。

如果你想從終端做它，你可以運行此命令

的gzip [-acdfhlLnNrtvV19] [-S後綴] [名稱...] gunzip解[-acfhlLnNrtvV] [-S後綴] [名...]

來源：https://www.techonthenet.com/linux/commands/gzip.php

來源

2016-09-21 14:31:37

如何在hadoop集羣環境中提取.gz文件？

回答

相關問題