hdf5

2熱度

1回答

我正在用jhdf5學習HDF5。我正在使用MAC OS_X。釀造安裝HDF5 這將安裝hdf5-1.10在/ usr /本地/地窖/ HDF5 拷貝文件，並把它的gradle中項目。 https://support.hdfgroup.org/ftp/HDF5/hdf-java/hdf-java-examples/jnative/h5/HDF5FileCreate.java 這是最基本的Java

0熱度

1回答

HDF5沒有寫入所有數據到文件

我正在嘗試從他們的網站HDF5的Java示例。我試過bitfield datatype例如https://support.hdfgroup.org/ftp/HDF5/current/src/unpacked/java/examples/datatypes/H5Ex_T_Bit.java 我發現只有第一行寫。其餘不寫。我將4x8數組的原始大小更改爲5x9，並且只寫入第1行和第2行的3個值。 or

1熱度

1回答

如何使用python讀取h5文件的「家族」？

這些是在文件系統中的文件爲： vgg16_weights_tf_dim_ordering_tf_kernels_0.h5 vgg16_weights_tf_dim_ordering_tf_kernels_1.h5 vgg16_weights_tf_dim_ordering_tf_kernels_2.h5 vgg16_weights_tf_dim_ordering_tf_kernels_3.h

1熱度

1回答

大HDF5數據集，如何在每個紀元後有效地洗牌

我目前正在使用大圖像數據集（〜60GB）來訓練CNN（Keras/Tensorflow）以進行簡單的分類任務。這些圖像是視頻幀，因此時間高度相關，所以在生成巨大的.hdf5文件時，我已經洗過一次數據... 將數據傳送到CNN時無需一次將整個數據集加載到內存中我寫了一個簡單的批生成器（見下面的代碼）。現在我的問題：通常建議在每個訓練時期後洗牌數據？（對於SGD收斂的原因？）但要這樣做，我將不

2熱度

1回答

如何在python中將大型csv文件寫入hdf5？

我有一個數據集太大而無法直接讀入內存。我不想升級機器。從我的閱讀中，HDF5可能是解決我的問題的合適解決方案。但我不確定如何迭代地將數據框寫入HDF5文件，因爲我無法將csv文件作爲數據框對象加載。所以我的問題是如何用python熊貓將大型CSV文件寫入HDF5文件。

-2熱度

2回答

mmap hdf5數據集在C/C++

我有一個巨大的hdf5文件（〜100GB，連續存儲），我需要隨機訪問不同的點。在python/h5py或C/H5Dread中使用索引似乎很慢，因此我想直接mmap數據。實際上，這在我的本地64位Fedora 25上的h5py/numpy中可用，跟在this之後。但在遠程集羣上，儘管python似乎是64位，並且使用C中的mmap對100GB文件進行了簡單測試，但大型文件（[Errno 12] C

1熱度

1回答

存儲在HDF5中的數據的尺寸

我有幾個.h5文件，其中包含使用.to_hdf方法創建的Pandas DataFrame。我的問題很簡單：是否可以在不加載RAM中的所有數據的情況下檢索存儲在.h5文件中的DataFrame的維度？動機：存儲在這些HDF5文件中的DataFrame非常大（高達幾Gb），並且加載所有數據以獲取數據的形狀非常耗時。

0熱度

1回答

從Amazon S3和Boto3下載並讀取HDF5文件

我在這裏很新。我會盡力澄清。我已經用pytables創建了一個hdf5文件，我用數據填充了它。 s3_client.upload_file(local_file_key, aws_bucket_name, aws_file_key) 我從S3和商店下載同一個HDF5文件：然後，我從我的AWS集羣在/ tmp /目錄下使用此代碼上傳我的文件到一個S3桶它再次出現在我AWS集羣在/ tmp /目錄

0熱度

2回答

HDF5 + Eclipse CDT錯誤

我正在嘗試編輯一個很大的'ol風洞模擬，以.hdf5格式而不是當前格式，.CSV格式輸出文件。整個模擬當前在Eclipse CDT上運行，編譯爲&，使用MinGW g ++在Windows和Linux平臺上混合使用;我正在使用Windows 7 Enterprise設備。我的工作是編輯模擬源代碼的幾行以輸出HDF5格式的文件。問題是 - 如果沒有「未定義參考」錯誤的大雜燴，我什麼也得不到。我開

0熱度

1回答

如何在HDF5中製作多維數據集？

例如，我希望有兩個數據集，一個是Input，另一種是Output 在Input的數據和Output是多變暗。如但我在h5py，input_node和output_node注意是固定的。 Input = f.create_dataset('Input', (3,input_node),dtype='float', chunks=True) Output = f.create_dataset('