並行壓縮算法

Question

許多/大多數壓縮算法都有一個並行解壓縮實現（例如pigz爲gzip等）。

然而，很少有人看到時間減少與處理任務的處理器數量成正比，而多數處理器並沒有從中受益。

我很想知道，如果有任何壓縮格式，內置到設計並行減壓 - 即在理論上是100倍，100級的CPU快於1

謝謝你，一切順利:)

Answer 1

你可能是I/O綁定的。在某些時候，如果更多處理器等待輸入或輸出，它們將無濟於事。你只是得到更多的處理器等待。

或者您的輸入文件可能不夠大。

對於足夠大的輸入（如果不是I/O限制的話），pigz實際上會比100 cpu更快100倍。默認情況下，pigz向每個處理器發送128K數據塊以進行工作，所以您需要輸入至少13 MB才能爲所有100個處理器提供工作。理想情況下，讓所有處理器同時運行的速度更快。