2017-04-03 60 views
1

我已經在Mac &安裝僞分佈式模式的Hadoop 2.7.3做了所有配置,它在多元視野指定。我複製Csv文件從本地到hdfs。但第二天,當我搜索文件時,它不存在於hdfs中並自動刪除。有沒有其他的conf設置,以便我的文件不會丟失?僞分佈式模式的Hadoop

芯-site.xml中

<configuration> 
    <property> 
     <name>fs.defaultFS</name> 
     <value>hdfs://localhost:9000</value> 
    </property> 
</configuration> 

HDFS-site.xml中

<configuration> 
    <property> 
     <name>dfs.replication</name> 
     <value>1</value> 
    </property> 
</configuration> 

謝謝,

+0

安置自己的'核心site.xml'和'HDFS-site.xml' – franklinsijo

+0

我下面設置核心的site.xml和HDFS-site.xml中 - >核心的site.xml \t <配置> \t \t \t \t \t fs.defaultFS \t \t \t HDFS://本地主機:9000 \t \t \t \t - > HDFS-site.xml中 \t - ><配置> \t \t \t \t \t dfs.replication \t \t \t \t \t \t

回答

0

添加這些屬性來hdfs-site.xml

<property> 
    <name>dfs.namenode.name.dir</name> 
    <value>/home/username/hadoop-dfs/name</value> 
</property> 
<property> 
    <name>dfs.datanode.data.dir</name> 
    <value>/home/username/hadoop-dfs/data</value> 
</property> 

的元數據和數據塊s默認存儲在/tmp之下,因爲它的值爲hadoop.tmp.dir/tmp內的內容在重新啓動時被刪除。

添加這些屬性後,格式化namenode並啓動服務。

+0

感謝您的回覆, 我們是否需要在「hadoop-dfs」下的用戶名&「名稱」,「數據」目錄下創建「hadoop-dfs」目錄? –

+0

僅創建'hadoop-dfs'。 'name'和'data'目錄將分別由namenode和datanode創建。對於Mac,請相應地更改主路徑。 – franklinsijo

+0

非常感謝。您的建議有效 –

相關問題