Dask Array + hdf5讀取性能

Question

我有大量的大整型數組存儲在hdf5格式的文件中。我發現將這些數據表示爲一個dask數組（而不是一個h5py.File對象列表）對索引數據非常方便，但從磁盤加載數據片非常緩慢。

下面是一個例子，其中dsets是h5py.File對象和x的列表是從那些h5py.File對象構成的dask.array。 dask數組的分塊匹配h5py.File對象的分塊。

# Index h5py objects individually 
In [68]: %%time 
    ...: tmp = [d[0,0,0] for d in dsets]; 
    ...: 
CPU times: user 23.6 ms, sys: 3.97 ms, total: 27.6 ms 
Wall time: 26.8 ms 

# Index dask array 
In [69]: %%time 
    ...: tmp = x[:,0,0,0].compute() 
    ...: 
CPU times: user 2.72 s, sys: 187 ms, total: 2.9 s 
Wall time: 2.87 s 

什麼解釋加載相同數據的100倍時間差異？有什麼我可以做的，以減少沉重的負載時間？

編輯：這裏有一個repo我有jupyter筆記本電腦，一些假的數據保存到磁盤*.h5 files，然後用比較原始h5py或dask裝載性能（與分塊匹配）製成。在這些測試中，我發現在循環中使用h5py加載數據比在dask中的等效操作快8-10倍。

Answer 1

對HDF5文件的讀取性能不佳通常是由於您的文件如何分塊以及dask.array是如何分塊的。

例如，在極端情況下，如果你的HDF5文件是由行分塊，並通過柱您dask.array在塊讀取然後每塊讀取整個文件，這很容易導致100X放緩。

所以，你應該檢查你的h5py.Dataset對象

>>> d.chunks 
(100, 100, 100) 

的分塊你應該調整您的from_array調用這些塊

>>> x = da.from_array(x, chunks=(100, 100, 100)) 

或者，如果這些塊是小於是最佳，那麼你應該嘗試設計你的塊大小爲每個維度的整數倍

>>> x = da.from_array(x, chunks=(100, 200, 300)) 

如果數據集未分塊

>>> d.chunks 
None 

那麼你的數據集被安排在C-排序，你應該避免在後者的尺寸分塊

>>> x = da.from_array(x, chunks=(5, None, None)) 

你應該選擇塊大小大到足以隱藏任務調度的開銷。 Dask強加每塊數百微秒的開銷。如果你的塊很小，那麼這個開銷可以占主導地位。我通常會拍攝大小約100MB的大塊，不過這種差異會因應用程序而異。