大量（> 10Tb）體積數據（天體物理學模擬）的有損壓縮的最佳解決方案

Question

我從事大型天體物理模擬（星系形成）工作，並且遇到數據管理問題。事實上，這些模擬產生了非常大量的體積數據（3d單元上的物理量（如3d像素））。我的問題很簡單：根據您的理解，壓縮這些數據的最佳解決方案（有損壓縮）是什麼。

我需要的是： - 可調有損壓縮3D - 我並不需要一個「準備使用」的解決方案，而是一個開源的lib /代碼，我能適應我的模擬代碼 - 能夠對大量數據

的工作（解決方案可能來自圖像/體積圖像壓縮庫）

非常感謝你。

編輯：這不是繪製/顯示這些數據，這是爲了真正減少這些數據的重量（因爲如果我可以減少重量，我可以在磁盤上寫更多的時間步模擬，所以更好解決後期處理中星系的動態）

Answer 1

我不太確定這是不是你正在尋找的，因爲這不是完全壓縮，並且不會減少磁盤上的數據量。但它可以用來簡化表示和計算。

大型數據集演示的解決方案是使用LOD實現。它們每個定義都是有損的，有些是可調整的。有實施here和here

編輯一些連續的（可調）LOD算法：你可以實際使用的LOD作爲壓縮方法，如果要存儲算法的輸出，但它肯定會被最有效的遠壓縮策略

Answer 2

那麼，不知道數據的實際格式和構建規則就很難回答。

機會是，對於這樣的原始數量，格式是相當可壓縮的（當我聽到3D像素時，我期望那樣）。

所以你最好的猜測是將源數據「剪切」成塊大小與你正在分析的格式一樣自然的塊，並且獨立地壓縮每個塊。當你需要時，你會解壓縮每個塊。

如果原始數據證明是非常可壓縮的（例如大量零），那麼使用這種簡單的方法就可以得到一些非常好的結果。

Answer 3

我有類似的問題，我提出的「解決方案」是通過將其中一個空間維度轉換爲時間來使用現成的視頻壓縮。雖然不是很漂亮，但是在視頻壓縮方面做了很多工作（更不用說硬件支持），它很難被擊敗。

Answer 4

目前我也在3D點縮減/壓縮（但與terristic數據），我的解決方案是使用OctoMap框架和extend it with geometrical point distribution models。使用OcTree屬性和散亂數據逼近的層次分佈逼近可以實現在較低細節級別上具有高精度的LOD方法。