如何將自定義hadoop本地編解碼器編譯到libhadoop.so？

Question

我寫了一個本地hadoop壓縮編解碼器。爲了讓它與hadoop一起工作，我需要將本機（C代碼）編譯爲libhadoop.so。

我該如何做到這一點？

Answer 1

你並不需要編譯到這個libhadoop.so：

• 編譯自己。所以，並分發到羣集節點（在同一目錄作爲當前libhadoop.so
• 我承擔您也編寫了自己的CompressionCodec（類似於GzipCodec） - 爲此代碼添加一個靜態塊，它嘗試使用System.loadLibrary("mylibrary");（對於名爲libmylibrary.so的庫）加載庫。
• 修改羣集配置以包含新的在註冊的編解碼器列表中壓縮編解碼器類（修改io.compression.codecs配置物業）：
• 重新啓動任務服務器

作爲參考，你可以按照實現和配置說明，瞭解谷歌斯納皮編解碼器：

• http://code.google.com/p/hadoop-snappy/