我一直在尋找一個默認的hadoop-metrics2.properties文件,它只是通過JMX公開所有可用的度量標準,但找不到一個。Hadoop 1.0.3的推薦默認hadoop-metrics2.properties內容是什麼?
1.0.3附帶的當前文件非常空,並且引用了軟件包信息,該信息不會顯示度量標準類的名稱。
我一直在尋找一個默認的hadoop-metrics2.properties文件,它只是通過JMX公開所有可用的度量標準,但找不到一個。Hadoop 1.0.3的推薦默認hadoop-metrics2.properties內容是什麼?
1.0.3附帶的當前文件非常空,並且引用了軟件包信息,該信息不會顯示度量標準類的名稱。
(以下內容添加到您的metrics2.properties爲指標傾倒在每10秒,文件將在$ HADOOP_HOME /日誌目錄)
*.sink.file.class=org.apache.hadoop.metrics2.sink.FileSink
*.period=10
namenode.sink.file.filename=./logs/namenode-metrics.out
datanode.sink.file.filename=./logs/datanode-metrics.out
jobtracker.sink.file.filename=./logs/jobtracker-metrics.out
tasktracker.sink.file.filename=./logs/tasktracker-metrics.out
要進行遠程監控啓用JMX,你不需要修改你的hadoop-metrics2.properties文件。相反,您將不得不在啓動腳本中添加類似於以下內容的東西:HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote.port=8004"
(該示例可能會在您的hadoop-env.sh
文件中出現)。
揭除JMX的指標,你應該注意到,所有的JMX指標都在通過HTTP(在這個例子中的NameNode)可供選擇:http://namenode-host:50070/jmx
如果你想在一個地方查看您的Hadoop指標JMX連接,無需其他配置更改。只需在本地實例上運行jconsole
即可。
這是否將度量公開爲jmx? –
這實際上會將通過jmx實際可用的指標轉儲到文件中,以便其他程序(例如Splunk)可以讀取指標而無需使用JMX API。 – kiru