通過Java API從遠程主機進行HDFS訪問，用戶認證

Question

我需要通過Java API從遠程桌面使用HDFS集羣。一切正常，直到寫入訪問。如果我試圖創建任何文件，我會收到訪問權限異常。路徑看起來不錯，但異常表明我的遠程桌面用戶名當然不是我需要訪問所需的HDFS目錄。

現在的問題是： - 有沒有什麼方法可以在Java API中使用'簡單'認證來表示不同的用戶名？ - 您能否在使用Java API示例時更好地解釋hadoop/HDFS中的認證/授權方案？

是的，我已經知道'whoami'可能在這種情況下使用shell別名重載，但我更喜歡避免這樣的解決方案。這裏還有一些細節是我不喜歡使用一些技巧，比如通過SSH和腳本進行管道操作。我想用Java API來執行所有的事情。 預先感謝您。

Answer 1

經過一番學習我來到了以下解決方案：

• 我實際上並不需要完整的解決方案的Kerberos，這是不夠目前客戶端可以運行任何用戶HDFS請求。環境本身被認爲是安全的。
• 這給了我基於hadoop UserGroupInformation類的解決方案。將來我可以擴展它以支持Kerberos。

  package org.myorg; 
  
  import java.security.PrivilegedExceptionAction; 
  
  import org.apache.hadoop.conf.*; 
  import org.apache.hadoop.security.UserGroupInformation; 
  import org.apache.hadoop.fs.Path; 
  import org.apache.hadoop.fs.FileSystem; 
  import org.apache.hadoop.fs.FileStatus; 
  
  public class HdfsTest { 
  
      public static void main(String args[]) { 
  
       try { 
        UserGroupInformation ugi 
         = UserGroupInformation.createRemoteUser("hbase"); 
  
        ugi.doAs(new PrivilegedExceptionAction<Void>() { 
  
         public Void run() throws Exception { 
  
          Configuration conf = new Configuration(); 
          conf.set("fs.defaultFS", "hdfs://1.2.3.4:8020/user/hbase"); 
          conf.set("hadoop.job.ugi", "hbase"); 
  
          FileSystem fs = FileSystem.get(conf); 
  
          fs.createNewFile(new Path("/user/hbase/test")); 
  
          FileStatus[] status = fs.listStatus(new Path("/user/hbase")); 
          for(int i=0;i<status.length;i++){ 
           System.out.println(status[i].getPath()); 
          } 
          return null; 
         } 
        }); 
       } catch (Exception e) { 
        e.printStackTrace(); 
       } 
      } 
  } 
  

  有用的參考那些誰也有類似的問題：

  • Cloudera的博客文章「

  示例代碼可能爲人們既爲「假認證」和遠程HDFS訪問有用Authorization and Authentication In Hadoop「。簡而言之，重點介紹hadoop安全方法的簡單解釋。沒有特定於Java API解決方案的信息，但對基本理解問題很有幫助。

UPDATE：
替代那些誰使用命令行hdfs或hadoop公用程序，而不需要本地用戶：

HADOOP_USER_NAME=hdfs hdfs fs -put /root/MyHadoop/file1.txt/

你真正要做的就是你讀按照本地文件到您的本地權限，但是當將文件放置在HDFS上，您可以像用戶hdfs那樣進行身份驗證。

這已經非常相似性質的API代碼所示：

1. 你不需要sudo。
2. 您不需要實際適當的本地用戶'hdfs'。
3. 由於以前的觀點，您不需要複製任何內容或更改權限。