使用像Hadoop這樣的分佈式計算將圖像編碼到Jpeg2000中

Question

想知道是否有人使用Hadoop將大圖像編碼/壓縮爲JPEG2000格式？ 也有這http://code.google.com/p/matsu-project/它使用地圖減少來處理圖像。

圖像大小約爲1TB +和單臺機器上需要100Hour +

Answer 1

如何圖像的大你在說什麼？從JPEG 2000 Wikipedia page看來，平鋪和小波變換應該很容易並行 - 瓦片看起來是相互獨立的。有一個名爲JasPer的開源庫，看起來被廣泛使用，但是它是用C語言編寫的，這會使其集成到Hadoop中變得有點棘手。

您將必須將編解碼器分離出來，並在映射步驟中調用適當的平鋪和編碼功能，然後重新組合並在縮小步驟中寫出圖像。它可能需要對JPEG 2000格式本身有相當深入的理解。

現在的問題是：與在單個機器上串行處理貼磚相比，您將花多少時間移動未壓縮的數據，然後重新組裝它？您可能需要做一些信封計算，看看它是否值得，以及在單臺機器上進行理論加速比較。