測量datanode的吞吐量

Question

我想通過測量每個讀/寫操作所需的時間來測量每個datanode的吞吐量。閱讀百萬個函數並找出發生的地方是非常令人困惑的。有人可以列出在讀/寫數據塊時進行的一系列調用嗎？我正在使用版本1.0.1。另外，如果已經有一個API在數據節點上測量這個數據，我可以使用這些信息。

Answer 1

要研究以測量吞吐量的重要類別爲FSDataOutputStream（寫入）和FSDataInputStream（讀取）。

文件閱讀：的第一件事情，一個節點不讀取文件時是FileSystem對象上調用open()。此時，您知道該節點將很快開始閱讀，並且您可以在此通話成功返回之後放置代碼以準備進行測量。在HDFS上調用open()實例化DistributedFileSystem與NameNode進行通信以收集塊位置（根據調用節點的鄰近程度排序）。最後，DistributedFileSystem對象返回FSDataInputStream（「看到」讀取文件），然後包裝DFSInputStream（「看到」讀取塊，處理失敗）。您的測量範圍將在FSDataInputStream的read()和close()調用範圍內。

文件寫入：節點將在FileSystem上調用create()。此時進行各種檢查，包括文件許可權，可用性等，但成功完成後將返回一個FSDataOutputStream對象，其包裝DFSOutputStream。當一個人看到連續寫入時，另一個人處理複製因素的一致性（即一次寫入=三次寫入）和失敗。與讀數類似，您的測量範圍將在FSDataInputStream的write()和close()調用範圍內。

爲了給集羣中的所有節點做這個全球範圍內，你需要重寫這些方法作爲Hadoop的您在羣集共享分發的一部分。