在哪裏可以找到有關文件系統計數器信息中的MapReduce

雖然運行MapReduce工作我得到這樣的輸出：在哪裏可以找到有關文件系統計數器信息中的MapReduce

11/09/15 21:35:16 INFO mapreduce.Job: Counters: 24 
File System Counters 
FILE: Number of bytes read=255967 
FILE: Number of bytes written=397273 
FILE: Number of read operations=0 
FILE: Number of large read operations=0 
FILE: Number of write operations=0 
Map-Reduce Framework 
Map input records=5 
Map output records=5 
Map output bytes=45 
.......

在這裏，它說的第一線櫃：24 在哪裏可以找到更多信息關於這些櫃檯。

我最感興趣大型閱讀操作= 0，這些是什麼？
如果任何人有任何關於這些知識或參考，請回復。

謝謝。

來源

2013-05-22 Hisham Muneer

我建議你看看Tom White's Hadoop book，特別是第8.1章，他給出了計數器的詳細清單及其含義。你可以找到一個在線版本here。

對於大的讀取操作，它對應於大文件系統讀取操作的數量，例如大目錄下的列表文件。它是在HADOOP-6859中介紹的，它被描述爲：在文件系統上，除了大目錄的listFiles外，大多數操作都很小。 HDFS中引入了迭代listFiles，將單個大操作分解爲更小的步驟。當在大型目錄下列出文件時，每次迭代listFiles都會增加此計數器。

這張票還解釋了一些其他新的計數器：

讀取操作 - 讀操作，如listStatus，getFileBlockLocations，開放等數
寫操作 - 寫入的數操作，如創建，追加，setPermission等。

我建議你看看FileSystem.Statistics類的細節s所描述的一些額外的文件系統計數器here

來源

2013-05-22 14:08:15

你的答案根本沒有幫助，沒有找到任何關於大型閱讀操作。不管怎麼說，還是要謝謝你。 –

你讀過我的最後一個鏈接了嗎？它聲明：「getLargeReadOps（） - >獲取大型文件系統讀取操作的數量，如大型目錄下的列表文件」。真的沒有比這更精確的了...... –

獲取大型文件系統讀取操作的數量，例如大型目錄下的列表文件....我之前已經看到，但我對於什麼是「大目錄「。 –

在哪裏可以找到有關文件系統計數器信息中的MapReduce

回答

相關問題