使用Java的Mapr

Question

我是Hadoop，Mapr和Pivotal的新手。我寫了Java代碼寫入Mapr中寫入關鍵但面臨的問題。

public class HadoopFileSystemManager { 
     private String url; 
     public void writeFile(String filePath,String data) throws IOException, URISyntaxException { 
      Path fPath = new Path(filePath); 
      String url = url = "hdfs://"+ip+":"+"8020"; 
      FileSystem fs = FileSystem.get(new URI(url),new Configuration()); 
      System.out.println(fs.getWorkingDirectory()); 
      FSDataOutputStream writeStream = fs.create(fPath); 
      writeStream.writeChars(data); 
      writeStream.close(); 
     } 

    } 

這段代碼可以很好地運行在ptaoatal上，但是與Mapr無法運行。

對於MAPR我使用的端口= 7222 我收到以下錯誤

請讓我知道如果我使用正確的端口或任何需要「一個現有的連接被強行關閉遠程主機」在特定於Mapr的代碼中進行更改。

我已經停止了iptables。

任何信息非常感謝。

感謝

標題

Answer 1

試試這個代碼。但請確保您在執行測試的節點上安裝了MapR客戶端。

public class HadoopFileSystemManager { 
     private String url; 
     public void writeFile(String filePath,String data) throws IOException, URISyntaxException { 
      System.setProperty("java.library.path", "/opt/mapr/lib"); 
      Path fPath = new Path(filePath); 
      String url = url = "hdfs://"+ip+":"+"8020"; 
      FileSystem fs = FileSystem.get(new URI(url),new Configuration()); 
      System.out.println(fs.getWorkingDirectory()); 
      FSDataOutputStream writeStream = fs.create(fPath); 
      writeStream.writeChars(data); 
      writeStream.close(); 
     } 

    } 

以下添加到類路徑：

/opt/mapr/hadoop/hadoop-0.20.2/conf:/opt/mapr/hadoop/hadoop-0.20.2/lib/ Hadoop的0.20.2-DEV-core.jar添加：/opt/mapr/hadoop/hadoop-0.20.2/lib/maprfs-0.1.jar：中：/ opt/MAPR/Hadoop的/ Hadoop的0.20.2/lib目錄/共享記錄-1.0.4.jar：/opt/mapr/hadoop/hadoop-0.20.2/lib/zookeeper-3.3.2.jar

此語句在上面的代碼：System.setProperty("java.library.path", "/opt/mapr/lib");可以被刪除，可以使用提供也是如此，如果你在建設時從終端運行你的程序。

/opt/mapr可能不是您的mapr文件路徑。如果是這種情況，請根據情況更換相應的路徑。

評論後： 如果您正在使用Maven來構建你的項目，請嘗試使用以下在pom.xml， 並用提供的範圍。 MapR也與普通的Apache Hadoop發行版兼容。所以，在建立的時候你可以使用相同的。然後當你運行你的程序時，你會在類路徑中提供mapR jars。

<dependency> 
    <groupid>hadoop</groupid> 
    <artifactid>hadoop</artifactid> 
    <version>0.20.2</version> 
    <scope>provided</scope> 
</dependency>