WebHdfs中的校驗和計算

Question

當使用「hdfs dfs -put」攝入文件時，客戶端計算校驗和並將輸入數據+校驗和發送到Datanode進行存儲。

當使用WebHdfs讀取/寫入文件時，此校驗和計算/驗證是如何發生的？ WebHdfs如何保證數據完整性？

關於Apache的Hadoop文檔沒有提及任何有關它的內容。

Answer 1

WebHDFS只是通過通常的datanode操作的代理。 Datanodes託管webhdfs servlet，這些servlet打開標準DFSClient並通過標準管道讀取或寫入數據。這是正常過程中的一個額外步驟，但不會從根本上改變它。這是一個brief overview。