是否可以使lzw壓縮/解壓縮並行？

Question

我已閱讀this article關於如何使用LZW壓縮/解壓數據，但我正在尋找使它使用多線程......但我認爲這是不可能的。你怎麼看？關於這個問題的任何文章或文章？甚至暗示如何去做。

Answer 1

您可能想要閱讀this paper，特別是第2.2節解釋瞭如何並行化LZW方案。

Answer 2

在低級別並行壓縮算法將提供有限的加速並可能比它的價值更麻煩。原因是真正的好處是壓縮大量數據。在這種情況下，簡單地將數據拆分成小塊並用普通算法單獨壓縮它們就容易得多。

LZW是舊的，不是很有效。其他方法可以更快，更有效地進行壓縮。您可以查看lz4至zlib至lzma至ppmd，paq等等的各種方案，順序從最快的壓縮最小到最慢的壓縮。並行化的一個例子是pigz，它使用zlib將大文件壓縮到gzip format，使用盡可能多的處理器和核心。它以並行方式提供前一個塊到後續塊的歷史記錄，與串行單處理器gzip壓縮相比，不會失去壓縮效率。