問題與HDFS命令採取100％cpu

Question

我有一個hdfs服務器，我目前正在流。

我也打這個服務器與以下類型的命令定期檢查一定的條件：hdfs dfs -find /user/cdh/streameddata/ -name *_processed

不過，我已經開始看到這個命令把我的CPU的一個巨大的部分TOP監控時：

cdh  16919  1 99 13:03 ?  00:43:45 /opt/jdk/bin/java -Xmx1000m -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/var/log/hadoop -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/opt/hadoop -Dhadoop.id.str=cdh -Dhadoop.root.logger=ERROR,DRFA -Djava.library.path=/opt/hadoop/lib/native -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true -Xmx512m -Dhadoop.security.logger=INFO,NullAppender org.apache.hadoop.fs.FsShell -find /user/cdh/streameddata/ -name *_processed 

這會導致其他應用程序停頓，並且整體上對我的應用程序產生巨大影響。

我的服務器是48核心服務器，我沒有想到這是一個問題。

目前，我還沒有在hadoop中設置任何額外的堆，所以它使用了1000MB的默認值。

Answer 1

如果你認爲你大概堆太小，你可以運行：

jstat -gcutil 16919 # process ID of the hdfs dfs find command 

，並期待在價值GCT（垃圾收集時間）下，看看你有多少時間相對垃圾收集花到您的總運行時間。

但是，如果directory/user/cdh/streameddata /具有數十萬個文件或數百萬個文件，那麼您可能會合法地損壞您的系統。