pytables

4熱度

1回答

我正在使用大熊貓hdfstore處理來自正在進行的迭代過程的數據幀。在每次迭代中，我追加到hdfstore中的表格。這裏是一個玩具例子：對hdfstore.append拋出各種異常 import pandas as pd from pandas import HDFStore import numpy as np from random import choice from string

1熱度

1回答

read_hdf失敗'所有變量refrences必須是一個軸的參考...'

卡住以下。 log_iter = pd.read_hdf(FN, dspath, where = [pd.Term('hashID','=',idList)], iterator=True, chunksize=3000) dspath有35列，可能會導致MemoryError相當大。所以試圖去迭代器/ chunksize路線。但'

0熱度

2回答

圖書館未加載：/usr/local/lib/libhdf5.9.dylib

「釀造升級」後，我發現我不能在我的Mac上使用Pytables。 import tables as tb --------------------------------------------------------------------------- ImportError Traceback (most recent call last) <ipython-input-

1熱度

1回答

創建HDF5組/表如果不存在

我正在使用PyTables python包構建HDF5文件。該文件將每天更新最新的滴答數據。我想創建兩個組 - Quotes和Trades以及不同期貨到期的表格。我想檢查組Quotes是否存在，如果不存在，然後創建它。在PyTables中做什麼是最好的方法？下面是我對現在所在的代碼片段： hdf_repos_filters = tables.Filters(complevel=1, compli

6熱度

2回答

爲什麼熊貓將unsigned int大於2 ** 63-1轉換爲對象？

當我轉換numpy的陣列到大熊貓數據幀大熊貓改變UINT64類型的對象類型，如果整數大於2^63 - 1 import pandas as pd import numpy as np x = np.array([('foo', 2 ** 63)], dtype = np.dtype([('string', np.str_, 3), ('unsigned', np.uint64)])) y

1熱度

1回答

熊貓和HDF5文件大小減少

我運行的模型將數據輸出到多個熊貓幀，然後將這些幀保存到HDF5文件。該模型運行數百次，每次將新列（多索引）添加到現有的HDF5文件的框架中。這是通過Pandas merge完成的。由於每次運行時幀的長度都不相同，因此幀中會有大量值爲NaN。完成足夠的模型運行後，如果行或列與具有錯誤的模型運行相關聯，則會從幀中刪除數據。在那個過程中，新的數據幀被放入一個新的HDF5文件。以下僞蟒示出了該過程： w

2熱度

1回答

使用ptrepack恢復hdf5文件中刪除的節點

我已經使用熊貓中的Pytables集成，將一堆熊貓DataFrames寫入h5文件。從那以後，我刪除了h5文件中的一些組，並且我想重新包裝它以回收空間。從我發現我知道我需要使用Pytables ptrepack工具。但是我無法讓它工作。如果我在腳本中弄亂某些東西，或者如果我真的在pytables中運行一個錯誤，有人可以告訴我嗎？如果我搞砸了，你可以給我一個導入的例子，並調用ptrepack簡單地重

1熱度

1回答

使用帶有表格格式和數據列的pytables創建HDF5文件

我想讀取先前使用PyTables創建的h5文件。該文件使用Pandas讀取，並與一些條件，像這樣： pd.read_hdf('myH5file.h5', 'anyTable', where='some_conditions') 從另一個問題，我已被告知，爲了對H5文件是「可查詢」與read_hdf's where說法它必須寫在table format，此外，一些列必須聲明爲data colu

3熱度

2回答

GIL爲IO在C擴展（HDF5）

我有獲取250,000樣本每秒，在存儲緩衝器他們並最終附加到由pandas提供的HDFStore採樣應用限定的線程。一般來說，這很好。但是，我有一個運行並不斷清空數據採集設備的線程（DAQ），它需要定期運行。大約一秒的偏差往往會破壞事情。以下是觀察到的時間的極端情況。 Start表示DAQ開始讀取，Finish表示完成，IO表示HDF寫入（DAQ和IO都出現在單獨的線程中）。 Start : 2

0熱度

1回答

Python，安裝Pytables：ValueError：[u'path']

我在powershell（Windows）中使用命令'pip install tables'來安裝Pytables。但我收到ValueError: [u'path']。紅色寫入'Command "python setup.py egg_info" failed with error code 1'。我安裝了miniconda。編輯：全紅色的錯誤消息如下： 'Command "python s