目錄是否由Hadoop緩存符號鏈接處理？

Question

我想弄清楚由Hadoop緩存支持目錄創建的符號鏈接。

• 它運作良好，在分佈式模式
• 它無法在本地模式
• 的Javadoc /文檔是很稀疏，說一無所知

短版

我希望DistributedCache.addCacheFile(URI.create("file:/tmp/myfile#foo/bar"), conf)到在當前工作目錄下以foo/bar的名稱提供/tmp/myfile。

羣集上的一切都很好，但在本地模式下失敗。基本上，LocalDistributedCacheManager.setup嘗試使用ln -s /tmp/myfile $cwd/foo/bar創建符號鏈接，但foo從未創建。

具體要求

我要添加一個或幾個Avro的​​到Hadoop的分佈式緩存。

SortedKeyValueFile s與Hadoop MapFile s類似。它們實際上是一個由兩個文件構成的目錄：索引文件和數據文件。這兩個文件必須具有特定名稱（index和data），並且必須位於相同的目錄中。

如果我希望能夠將至少兩個「文件」放入分佈式緩存中，我不能將這些文件壓扁到根目錄中。我必須保留/定義一個文件層次結構。

設置：Hadoop 2.6.0/CDH 5.4/Crunch。因爲我正在使用Crunch，所以我不得不使用已棄用的DistributedCache API，因爲Job.addCachefile()未公開。

問題需要回答

• 是它在本地模式的錯誤還是我濫用分佈式緩存？
• 人們如何將諸如MapFile或SortedKeyValueFile之類的內容插入到Hadoop緩存中？

Answer 1

這是一個本地模式的錯誤還是濫用分佈式緩存？

分佈式緩存在本地模式下不受支持。它只能以僞分佈模式或集羣模式運行。

人們如何將MapFile或SortedKeyValueFile等東西推入Hadoop緩存？

您必須將所有內容放在文件中並將其放在HDFS中，並在 mapside中從文件中讀取它並將其放入hashmap中。

如何從分佈式緩存讀取：

@Override 
     protected void setup(Context context) throws IOException,InterruptedException 
     { 
      Path[] filelist=DistributedCache.getLocalCacheFiles(context.getConfiguration()); 
      for(Path findlist:filelist) 
      { 
       if(findlist.getName().toString().trim().equals("mapmainfile.dat")) 
       { 

        fetchvalue(findlist,context); 
       } 
      } 

     } 
     public void fetchvalue(Path realfile,Context context) throws NumberFormatException, IOException 
     { 
      BufferedReader buff=new BufferedReader(new FileReader(realfile.toString())); 
      //read the file and put it in hashMap 
     } 

將文件添加分佈式緩存：

DistributedCache.addCacheFile(new URI("/user/hduser/test/mapmainfile.dat"),conf);