MPI-2文件格式選項

Question

我想加快我的文件I/O使用MPI-2，但似乎沒有任何方式來讀/寫格式的文件。我的許多I/O文件被格式化以便於預處理和後處理。

有關格式化I/O的MPI-2解決方案的任何建議？

Answer 1

在生成某種便攜式，合理的文件格式時使用MPI-IO的通常答案是使用HDF5或NetCDF4。有一個真正的學習曲線（但也有很多tutorials那裏），但結果是你很便攜，自我描述的文件，有一個億工具訪問，操縱等。

如果通過'格式化'輸出你的意思是簡單的人類可讀文本，然後作爲做這些事情的人，如果我沒有催促你開始離開這種方法，我就不會做我的工作。我們大體上都是以這種方式開始的，傾倒純文本以便我們能夠快速看到發生了什麼;但這不是做生產運行的好方法。這些文件是臃腫的，I/O是方式較慢（我經常看到使用ascii的速度比使用二進制文件慢6倍，部分原因是你一次寫出小塊，部分是因爲字符串轉換），以及什麼？如果輸出的數據太少，以至於可以通過可行地讀取和理解輸出，則不需要並行I/O;如果有這麼多的數字，你不可能真的輕易地翻遍它們並理解正在發生的事情，那麼有什麼意義呢？