Chunked HDF5數據集和slabsize

Question

我們正在評估HDF5關於分塊數據集的性能。 特別是我們試圖找出是否有可能讀取不同的連續塊，以及這樣做會影響性能？ 例如我們有一個塊大小爲10的數據集，一個包含100個值的數據集並且想要讀取23到48的值。是否會有很大的性能損失？

非常感謝！

Answer 1

我不知道如何具體回答你的問題，但我建議你使用1024的塊大小（或任何兩個更高的功率）。我不知道HDF5的內部結構，但是從我對文件系統的瞭解以及我們做的粗略的基準測試中，1024是正確的。