2016-10-17 96 views
0

我們有一個12臺服務器的hadoop集羣(CDH),最近我們要解除其中三個,但是這個進程已經在那裏運行了2天以上。但它永無止境,特別是在過去24小時內,我看到三個數據節點上只有94G數據可用,但在過去的24小時內大小似乎沒有變化。即使通過重複的塊編號已經爲零。 hdfs中的所有數據的複製因子爲3。CDH HDFS節點退役永無止境

下面是hadoop的fsck命令的結果是:

總尺寸:5789534135468 B(總打開的文件大小:94222879072 B) 總顯示目錄:42458個 文件總數:5494378個 總符號鏈接:0(文件目前正在寫入:133) 總塊(驗證):5506578(平均塊大小1051385 B)(總打開文件塊(未驗證):822) 最小複製塊:5506578(100.0%) 過度複製塊: 0(0.0%) 低複製塊:0(0.0%) 誤複製的塊:0(0.0%) 默認複製因子:3 平均塊複製:2.999584 損壞的塊:0 缺少副本:0(0.0%) 數據節點的數量:13 機架數:1 FSCK在Mon Oct 17 16:36:09 KST 2016結束於781094毫秒

回答

1

您可以嘗試停止datanode上的cloudera代理。

sudo service cloudera-scm-agent hard_stop_confirmed

代理停止後,你可以刪除HDFS實例頁面,數據節點

希望這個作品