Hadoop名稱節點和日誌節點自動消耗磁盤空間

我已經在5臺服務器上安裝了使用Cloudera（正常安裝）的hbase設置。我創建了一些表格並填充了一些數據。

現在我監視了hdfs文件夾的大小。我可以看到數據節點持續給出一致的讀數。但我每次檢查時，我的namenode和日誌節點磁盤使用量都在增加。

雖然我有少量的數據，但日誌節點和名稱節點每天增加30MB（大約）。

我在配置中丟失了什麼嗎？

你應該在'du -sh'找到這些文件所在的文件夾，並找出佔用的空間。它可能是日誌，圖像/編輯文件或全部東西。 –

我同意唐納德，檢查每天產生的日誌的大小 –

日誌將去一個單獨的文件夾。我可以看到它的活動名稱節點服務器和日誌節點增加了空間。我做了一些研究，發現每當名稱節點中有一些編輯時，日誌佔用，然後輔助名稱節點從日誌讀取它。但是我現在沒有在我的hbase中進行任何操作。 –

而經過一些研究，我發現這個問題，爲什麼編輯日誌不清除。它在hadoop中的設置。

* dfs.namenode.num.extra.edits.retained = 1000000

這是默認值集合。 Reference

2013-11-27 05:43:10

回答