如何在代碼中獲取Hadoop中的統計信息？

Question

我想在我的Java代碼中獲取一些信息，例如映射輸入字節，減少隨機字節等。這些信息在Hadoop作業完成後打印到控制檯，但是我正在尋找一種方法讓他們進入我的代碼？

Answer 1

您正在尋找Hadoop計數器。檢查出http://lintool.github.io/Cloud9/docs/content/counters.html或Is there a way to access number of successful map tasks from a reduce task in an MR job?。