當使用Caffe訓練數據集時，多次加載HDF5文件

Question

我正在使用hdf5文件訓練數據集，並且日誌說明hdf5文件已加載3次。我想知道爲什麼呢？

培訓，我使用4 GPUs

0830 10:51:06.050088 24335 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt 
I0830 10:51:06.055855 24336 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt 
I0830 10:51:06.066175 24335 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259 
I0830 10:51:06.071753 24336 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259 
I0830 10:51:06.878861 24337 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt 
I0830 10:51:06.900501 24337 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259 

Answer 1

至於我發現的是，如果你使用多個GPUs的hdf5文件被加載多次爲每個GPU！這可能會導致問題，我不會建議使用GPUs時使用hdf5文件