pytables

1熱度

1回答

複雜的迭代如果有人到處理Pytables也許可以給我一個關於這個複雜的表達式，是不工作的線索： hdf5file = openFile("savedTable.h5", mode = 'r') tab = hdf5file.getNode("/Data") for i in xrange(1,10): result = [result + 1 for x in tab.wher

11熱度

2回答

從Oracle讀取數百萬行的大表並寫入HDF5

我正在使用具有數百萬行和100列以上的Oracle數據庫。我試圖用索引某些列的pytables將這些數據存儲在HDF5文件中。我將在pandas DataFrame中讀取這些數據的子集並執行計算。我已經嘗試以下操作：下載的表格，使用工具到CSV文件中，通過使用塊讀取大熊貓CSV文件塊，並使用pandas.HDFStore追加到HDF5表。我創建了一個dtype定義並提供了最大字符串大小。但是

3熱度

1回答

我可以在Cython中靜態鍵入h5file數組嗎？

我開發了一個使用低級別Cython的庫來解決跨2D數組的流動問題。如果這些數組是numpy數組，我可以靜態地鍵入它們，從而避免Python解釋器隨機訪問這些數組的開銷。要處理大小如此之大的數組，他們不適合內存，我打算使用pytables中的hd5file數組代替numpy，但我無法弄清楚是否可以靜態鍵入一個CArray。是否可以在Cython中靜態鍵入hd5file CArrays以避免在隨機訪

0熱度

1回答

有沒有辦法查看PyTable文件標記列表？

在Pytable文件類中，您可以使用get_current_mark(),goto(mark),undo(mark),mark()等，但有沒有辦法查看所有可用標記的列表？參考：http://pytables.github.io/usersguide/libref/file_class.html

2熱度

2回答

如何將'date'類型的值添加到pytable？

我是pytables的新手，並且在嘗試向使用pytables創建的表中添加日期類型值時遇到錯誤。下面是我在做什麼： from tables import * import csv import datetime class Test(IsDescription): trDate = Time32Col() str = 'C:testTable.h5' fileh = ope

1熱度

1回答

Pytables表D型排列

如果我創建以下對準 numpy的陣列 import numpy as np import tables as pt numrows = 10 dt = np.dtype([('date', [('year', '<i4'), ('month', '<i4'), ('day', '<i4')]), ('apples', '<f8'), ('oranges', '

6熱度

1回答

PyTables讀取隨機子集

是否可以從HDF5讀取隨機子集（通過pyTables或最好是熊貓）？我有一個包含數百萬行的非常大的數據集，但只需要幾千個樣本進行分析。那麼讀取壓縮的HDF文件呢？

0熱度

2回答

Windows上的Vitables或其他HDF5查看器？

我一直在尋找一個hdf5查看器的窗口，並遇到了vitables。然而，vitables需要sip，它在Anaconda下有各種安裝問題......另一個選擇是HDFview，但這需要完整的Java安裝（我使用Python）。真的沒有獨立的HDF5觀衆嗎？或者我在這裏錯過了一些重要的觀點？！？或者是HDF5輸出並且例如HDFS在？：P

1熱度

2回答

在python中聚集巨大的數據矩陣？

我想聚集150萬種化合物。這意味着有1.5 x 1.5百萬的距離矩陣... 我想我可以使用pyTables生成這樣一個大表，但現在 - 有這樣的表我將如何聚類它？我想我不能只是通過pyTables反對scikit的一個學習聚類方法... 是否有將採取我的巨大的表，並用它做一些有用的東西（謊言集羣）任何基於Python框架？也許以分散的方式？

1熱度

1回答

在Pandas中使用布爾索引進行內存爆炸

我正在使用Pandas 12.0中非常大的浮點數據系列。我想要做的是在這個系列中爲NaNs設置極端異常值，這代表了標準化的特徵向量（平均值爲0，標準偏差爲1）。我沒有問題使得特徵向量的布爾面具發現極端值： mask = feature_series > 10 | feature_series < 10 這需要最少的資源。但是，當我嘗試實際使用此掩碼時，會發生內存爆炸，必須在發生崩潰之前強制退