如何使用yourkit配置hadoop任務

Question

我正在嘗試配置我的hadoop作業的內存使用情況。

有人可以提供一步一步的如何使用yourkit監視hadoop任務 - 包括設置？

Answer 1

所有你需要做的就是下面的條目添加到您的mapred-site.xml文件（其中若發現$ HADOOP_HOME/conf目錄/，其中$ HADOOP_HOME是您的Hadoop的安裝目錄）：

<property> 
    <name>mapred.child.java.opts</name> 
    <value> 
-agentpath:{yourkit installation directory}/bin/linux-x86-64/libyjpagent.so=tracing,dir={output directory} 
</value> 
</property> 

如果你是從Linux的x86-64的不同的平臺上運行，則可能需要更改上述值以符合您的平臺（見this瞭解詳細信息）

您可以通過任一列出here到監視程序代理

選項

這將創建多個快照，每個子進程在指定的輸出目錄中都有一個快照