2013-10-07 82 views
1

有沒有人知道熊貓,蟒蛇的總列? 我剛剛創建了一個包含超過20000列的熊貓數據框,但我得到了內存錯誤。pandas,python中有多少列?

非常感謝

+1

您應該考慮使用[hdf5](http://pandas.pydata.org/pandas-docs/dev/io.html#hdf5-pytables),以便處理大於內存大小的數據,這將讀取數據塊和讀取爲內存映射,請參閱[this](http://stackoverflow.com/questions/14262433/large-data-work-flows-using-pandas)爲例 – EdChum

回答

5

因爲你耗盡內存,您得到一個內存不足的錯誤,不是因爲對列數的限制。

1

沒有設置最大值的列 - 問題在於,很遺憾,您的計算機上可用的內存很少。

解決這個問題的一種方法是獲得更多的內存 - 但從長遠來看,這顯然不是一個可靠的解決方案(也可能相當昂貴)。如果你所做的唯一的事情就是創建數據框併產生錯誤,那麼你可以做很少的事情來解決這個特定的問題 - 儘管你可以把你的「大」數據框分成更小的數據框,然後在一次 - 甚至可能在不需要它們時將它們寫入文件,因此它們不佔用RAM內存。

你可能想看看改進你的算法,以便消耗更少的內存 - 看看this page,它包含了關於Python中內存分配的一些很好的信息。 Stack Overflow上的This question也有一些很好的技巧來分析你的內存使用情況!