如何獲取映射器輸出字節計數器

Question

我將未確定數量的映射縮減作業鏈接在一起以用於並行BFS最短路徑算法，並且當無法確定路徑時，我的作業無限循環而不產生任何記錄。我想最好的方法是檢查hadoop維護的Map Output Bytes計數器。

我怎樣才能訪問這個櫃檯？

Answer 1

要獲得由作業產生的地圖輸出字節計數，使用

long outputBytes = job.getCounters().findCounter("org.apache.hadoop.mapred.Task$Counter", "MAP_OUTPUT_BYTES").getValue(); 

更多的計數器組和名稱

見 http://lintool.github.io/Cloud9/docs/content/counters.html