如何使用Java高效讀取Hadoop（HDFS）文件中的第一行？

Question

我在我的Hadoop集羣上有一個很大的CSV文件。文件的第一行是一個'標題'行，它由字段名組成。我想在這個標題行上執行操作，但我不想處理整個文件。另外，我的程序是用Java編寫的並使用Spark。

在Hadoop集羣中讀取大型CSV文件的第一行的有效方法是什麼？

Answer 1

您可以訪問hdfs文件與FileSystem類，朋友們：

import java.io.BufferedReader; 
import java.io.InputStreamReader; 
import java.net.URI; 

import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.fs.FSDataInputStream; 
import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.hdfs.DistributedFileSystem; 

DistributedFileSystem fileSystem = new DistributedFileSystem(); 
Configuration conf = new Configuration(); 
fileSystem.initialize(new URI("hdfs://namenode-host:54310"), conf); 
FSDataInputStream input = fileSystem.open(new Path("/path/to/file.csv")); 
System.out.println((new BufferedReader(new InputStreamReader(input))).readLine()); 

此代碼不會使用MapReduce和將與合理的速度運行。