用於大型網格數據集的存儲

Question

我正在尋找適合大型網格數據集的良好存儲格式。這個應用程序是氣象學的，我們更喜歡這個領域中常見的格式（以幫助與他人交換數據）。我不需要處理特殊的數據結構，並且應該有一個Fortran API。我目前正在考慮HDF5，GRIB2和NetCDF4。

這些格式如何在數據壓縮方面進行比較？他們的主要限制是什麼？學習曲線有多陡峭？是否有任何其他存儲格式值得研究？

我還沒有找到大量的材料概述這些格式的差異和優點/缺點（有一個相關SO thread和a presentation比較GRIB和NetCDF）。

Answer 1

對不起，我不是在氣象學，但在我看來，科學界正在走向HDF5，參見例如NERSC頁：

http://www.nersc.gov/users/training/online-tutorials/introduction-to-scientific-i-o/

我不得不採取了同樣的選擇天體物理學數據，因爲我們歷史上使用FITS，而且我發現開始使用HDF5非常容易，因爲不僅有Fortran和C，而且還有C++，還有一個python軟件包（h5py）。

Answer 2

我肯定會考慮HDF5，因爲它似乎是科學界的趨勢。

此外，HDF5內置過濾器（包括壓縮過濾器），或者你也可以自己寫。

最後看看HDF5的「分塊」數據集，因爲如果您有網格數據集，它們可能會非常有用。

http://www.hdfgroup.org/