1
A
回答
1
你可以依次加載每個山坳,然後調用.nunique
:
In [227]:
import io
t="""a,b,c
0,1,1
0,2,1
1,3,1
2,4,1
3,5,6"""
# get the columns first
cols = pd.read_csv(io.StringIO(t), nrows=1).columns
d = {}
for col in cols:
df = pd.read_csv(io.StringIO(t), usecols=col)
d[col] = df[col].nunique()
d
Out[227]:
{'a': 4, 'b': 5, 'c': 2}
這應該然後生成唯一值的數量的類型的字典爲每列
這是假設你能夠處理加載從你的10GB文件一次一列
相關問題
- 1. 發現在DF和擴大DF大熊貓細胞獨特的元素,包括與這些獨特的元素
- 2. 在熊貓數據框中重複元素,使每個獨特元素的數量相等
- 3. 找到獨特的列元素計數使用GROUPBY與熊貓
- 4. 熊貓系列:如何每個元素
- 5. numpy:找到數組中每個獨特元素的數量
- 6. 熊貓大CSV
- 7. 熊貓適用&映射到每列的每個元素
- 8. 大熊貓的發現重複我運行元素
- 9. 熊貓列中每個元素的正方形
- 10. 計數獨特的元素和總結值在大熊貓GROUPBY操作
- 11. 獲取大熊貓每列最大值的數量
- 12. 熊貓分配多個CSV值在單獨的數據幀列
- 13. 大熊貓系列搜索元素
- 14. 在系列(熊貓)將地圖的elementwise的每個元素
- 15. 通過列(字符串)中的獨特元素分解大熊貓數據框並創建列聯表?
- 16. 大熊貓在每列
- 17. Python熊貓 - 多個特定列中的變量的獨特組合
- 18. 檢索大熊貓數據幀列的列表元素
- 19. 大熊貓發現間隔
- 20. Python的大熊貓:次每個唯一值出現多列
- 21. Python的大熊貓:加入獨特的列值並連接
- 22. 大熊貓數相同元素的數列和擦除,如果數量少
- 23. 如何爲每個單元格矢量獨特的元素?
- 24. 兩個列表中的獨特元素
- 25. 熊貓:獨特的數據幀
- 26. 大熊貓 - 有效的元素比較
- 27. 在大熊貓數據幀的所有獨特的行
- 28. Python的大熊貓降列在這兩個dataframes沒有發現
- 29. 大熊貓得到的每
- 30. 熊貓數據框的列中每種標籤的數量
我試圖做到這一點,但加載每一列的時間是安靜的大,我有2000列:( – Donbeo
那麼你可以一次穿過100列的列或東西 – EdChum
我知道有可能以區塊的形式讀取數據幀。我想知道是否可以在僅部分讀入內存的數據幀上使用'apply_along_axis' – Donbeo