hdfs中的文件路徑

Question

我想從Hadoop文件系統中讀取文件。

爲了實現文件的正確路徑，我需要hdfs的主機名和端口地址。

所以最後我的文件的路徑看起來像

Path path = new Path("hdfs://123.23.12.4344:9000/user/filename.txt") 

現在我想知道提取主機名=「123.23.12.4344」 &端口：9000？

基本上，我想訪問Amazon EMR上的FileSystem，但是當我使用

 FileSystem fs = FileSystem.get(getConf());

時，我得到了

 
You possibly called FileSystem.get(conf) when you should have called FileSystem.get(uri, conf) to obtain a file system supporting your path 

所以我決定使用URI。 （我必須使用URI），但我不確定如何訪問URI。

Answer 1

您可以使用以下兩種方法之一來解決您的錯誤。

1.

String infile = "file.txt"; 
Path ofile = new Path(infile); 
FileSystem fs = ofile.getFileSystem(getConf()); 

2.

Configuration conf = getConf(); 
System.out.println("fs.default.name : - " + conf.get("fs.default.name")); 
// It prints uri as : hdfs://10.214.15.165:9000 or something 
String uri = conf.get("fs.default.name"); 
FileSystem fs = FileSystem.get(uri,getConf());