查詢SQL + HDF5混合體

Question

我正在開發混合SQL（含mySQL）和HDF5數據庫解決方案進行數據分析。我的一些數據非常適合於關係數據庫，SQL作爲查詢語言非常方便和有效，但是我擁有大量的數值數據（數組和數組或矩陣與數千或元素/行/列）。因此，我將它們保存在HDF5文件中，並根據每個觀察值之間的一些共同點排列組層次結構，以便如果將用於派生該層次結構的字段添加到SQL Select查詢中，並添加索引關係數據庫與特定觀察數據集中的位置關聯起來，我可以快速找到HDF5文件中的數字數據。

我正在Python，Numpy和H5py中編寫所有這些。但是，在某些時候，我想讓整個事情更加用戶友好，甚至可以在網絡服務器上進行查詢和可視化。我最初的猜測是從像Django或SQLAlchemy這樣的ORM開始，然後添加一些我的實際腳本來處理HDf5。有沒有人有這種類型的混合方法的經驗，尤其是在這個級別？任何提示新手？

Answer 1

您可能會受益於使用檢索文件中的HDF5數據集地址（使用H5Oget_info）並將其存儲在數據庫記錄中。然後，數據集地址可以與H5Oopen_by_addr（）一起使用，直接打開HDF5數據集，而無需遍歷HDF5文件中的組層次結構。

參見： http://www.hdfgroup.org/HDF5/doc/RM/RM_H5O.html#Object-GetInfo 和 http://www.hdfgroup.org/HDF5/doc/RM/RM_H5O.html#Object-OpenByAddr

Answer 2

你可能有興趣在此工作： Supporting a Light-Weight Data Management Layer over HDF5

BTW，更多功能，包含索引，採樣和結構分組已這項工作後開發的。