Hadoop序列化和反序列化

Question

我有我的文件被處理存儲在HDFS中二進制流格式。 現在，我必須使用map-reduce對文件執行一些處理。 輸入文件被拆分成塊（當文件到達輸入塊時，文件是原始格式） 我的問題是何時發生這種反序列化？ 我有我的代碼中實現的可寫接口，它有兩個方法，即readFields和寫入。這些方法是否負責保存在HDFS中的實際數據的序列化和序列化？ 如果是的話，您能否解釋一下數據流？ 我一直堅持這個概念一整天，請幫助..

Answer 1

序列化發生在映射器階段的上下文對象的寫入方法。在編寫context.write（key，value {own_object}）時，在代碼中，序列化開始。一旦地圖輸出寫入本地磁盤，SS就會進入畫面。在這個階段中間輸出將由框架處理。這裏是解序列化（使用read（））。您可以在映射器後看到序列化的數據。