無法從hadoop檢索文件hdfs

我正在學習如何從/向hdfs讀取/寫入文件。無法從hadoop檢索文件hdfs

這是我用讀碼：

import java.io.InputStream; 
import java.net.URI; 

import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.fs.FileSystem; 
import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.io.IOUtils; 

public class FileSystemCat { 
public static void main (String [] args) throws Exception { 

    String uri = "/user/hadoop/file.txt"; 
    Configuration conf = new Configuration(); 
    conf.addResource(new Path("/usr/local/hadoop/etc/hadoop/core-site.xml")); 
    conf.addResource(new Path("/usr/local/hadoop/etc/hadoop/hdfs-site.xml")); 

    FileSystem fs = FileSystem.get(URI.create(uri),conf); 

    InputStream in = null; 
    try{ 

     in = fs.open(new Path(uri)); 
     IOUtils.copyBytes(in, System.out, 4096,false); 
    }finally{ 
     IOUtils.closeStream(in); 
    }   
}

}

該文件是存在的

hadoop cluster

不過，我得到以下運行我的代碼eclipse

Exception in thread "main" java.io.FileNotFoundException: File /user/hadoop/file.txt does not exist 
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:511) 
at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:724) 
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:501) 
at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:397) 
at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.<init>(ChecksumFileSystem.java:137) 
at org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:339) 
at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:764) 
at hadoop.FileSystemCat.main(FileSystemCat.java:22)

我用作路徑二者文件：///user/hadoop/file.txt和HDFS：///user/hadoop/file.txt

對於後者的誤差是稍有不同：

Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs

芯-site.xml中

<configuration> 
    <property> 
    <name>fs.default.name</name> 
    <value>hdfs://localhost/</value> 
    </property> 
</configuration>

HDFS-site.xml中

<configuration> 
<property> 
    <name>dfs.replication</name> 
    <value>2</value> 
</property> 

<property> 
    <name>dfs.namenode.name.dir</name> 
    <value>file:///usr/local/hadoop_store/hdfs/namenode/</value> 
</property> 

<property> 
    <name>dfs.datanode.data.dir</name> 
    <value>file:///usr/local/hadoop_store/hdfs/datanode/,file:///mnt/hadoop/hadoop_store/hdfs/datanode/</value> 
</property> 

<property> 
    <name>dfs.webhdfs.enabled</name> 
    <value>true</value> 
</property> 
</configuration>

有什麼顧慮？

感謝

來源

2014-06-30 QGA

添加XML文件與HDFS的配置參數：

Configuration conf = new Configuration(); 
conf.addResource(new Path("your_hadoop_path/conf/core-site.xml")); 
conf.addResource(new Path("your_hadoop_path/conf/hdfs-site.xml")); 
FileSystem fs = FileSystem.get(URI.create(uri),conf);

來源

2014-06-30 10:53:13 Balduz

我編輯您的提示後做hadoop fs -ls /。它仍然不起作用。請看看hdfs-site.xls和core-site.xml – QGA

你如何運行應用程序？使用'hadoop jar'？ – Balduz

我在構建路徑中添加了hadoop文件夾和子文件夾中包含的所有jar文件（我知道不好的做法:)） – QGA

如果你想讀取數據的HDFS文件，則該代碼將做到這一點。

package com.yp.util; 
import java.io.BufferedReader; 
import java.io.IOException; 
import java.io.InputStreamReader; 

import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.fs.FSDataInputStream; 
import org.apache.hadoop.fs.FSDataOutputStream; 
import org.apache.hadoop.fs.FileStatus; 
import org.apache.hadoop.fs.FileSystem; 
import org.apache.hadoop.fs.Path; 


public class ReadHadoopFileData { 


public static void main(String[] args) throws IOException { 

    Configuration conf = new Configuration(); 
    FileSystem hdfs = FileSystem.get(conf); 

    Path hdfsFile = new Path(args[0]); 

    try { 
     BufferedReader br=new BufferedReader(new InputStreamReader(hdfs.open(hdfsFile))); 
     String line; 
     line=br.readLine(); 
     while (line != null){ 
       System.out.println(line); 
       line=br.readLine(); 
     } 

    }catch (IOException ioe) { 
     ioe.printStackTrace(); 
    } 
    } 

}

當您使用命令行運行時，您的所有環境設置將由hadoop照顧。

到上面的程序運行的命令（假設您創建Read.jar和HDFS文件是部分-R-00000）

hadoop jar Read.jar com.yp.util.ReadHadoopFileData /MyData/part-r-00000

來源

2014-12-21 20:20:42 Somum

你應該改變行

FileSystem fs = FileSystem.get(URI.create(uri),conf);

這樣的事情

FileSystem fs = FileSystem.get(URI.create("hdfs://localhost"), conf);

這應該工作，如果你的uri路徑在hdfs。

要看看你的URI路徑是在HDFS，你可以在命令行

來源

2015-03-03 22:42:37 Kirito

無法從hadoop檢索文件hdfs

回答

相關問題