2014-02-15 120 views
0

任何人都可以幫助我理解hadoop的數據存儲概念嗎?hadoop文件系統的解釋

據我所知,hadoop處理fs圖像和數據塊,而fsimage和編輯日誌路徑存儲在hdfs-site.xml中。但是數據塊呢?任何人都可以幫助我嗎?我有點困惑/ user和/ tmp dir實際存在於文件系統中。

我用這個鏈接來設置單個節點Hadoop集羣:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

回答

3

文件是分割成塊,並且存儲在Hadoop分佈式文件系統(HDFS)。有關HDFS的說明,請參閱Yahoo的Hadoop TutorialHDFS module。存儲在HDFS中的目錄可通過在終端中鍵入以下命令來查看:hadoop dfs -ls

+0

嘿萊納德首先thnx很多,我只是想知道在哪裏actaully文件存儲我知道他們在HDFS但它必須存在下/或我錯了? – user1476653

+0

如果你問是否可以從Hadoop之外訪問HDFS文件,答案是否定的。 – LeonardBlunderbuss

+0

謝謝leonard,現在我站在它旁邊 – user1476653

0

Namenode的FSImage會跟蹤哪個Datanode具有哪些文件。在hdfs-site.xml文件中,配置'dfs.data.dir'定義了datanode在文件系統上存儲底層文件的位置。這可以是逗號分隔的目錄列表(想象多個磁盤)。