熊貓：通過遍歷它們來計算每列中的唯一值？

Question

我有一個非常大的數據框，我想從每列生成唯一的值。這只是一個例子 - 總共有20列。

  CRASH_DT  CRASH_MO_NO  CRASH_DAY_NO 
      1/1/2013  01    01  
      1/1/2013  01    01 
      1/5/2013  03    05 

我期望的輸出是像這樣：

<variable = "CRASH_DT"> 
    <code>1/1/2013</code> 
    <count>2</count> 
    <code>1/5/2013</code> 
    <count>1</count> 
</variable> 
<variable = "CRASH_MO_NO"> 
    <code>01</code> 
    <count>2</count> 
    <code>03</code> 
    <count>1</count> 
</variable> 
<variable = "CRASH_DAY_NO"> 
    <code>01</code> 
    <count>2</count> 
    <code>05</code> 
    <count>1</count> 
</variable> 

我一直在嘗試使用的.sum（）或.unique（）函數，其他manyquestions所建議的這個topic我已經看過了。

他們似乎都不適用於這個問題，他們都說爲了從每列生成唯一值，您應該使用groupby函數或選擇單個列。我有大量的列（超過20），所以它沒有任何意義，只需寫出df.unique ['col1'，'col2'...'col20']

我已經嘗試過.unique（），.value_counts（）和.count，但我無法弄清楚如何將這些應用於多列，而不是groupby函數或上面提到的任何東西鏈接。

我的問題是：如何從真正的海量數據框中的每個列中生成唯一值的計數，最好是通過循環遍歷列本身？ （我很抱歉，如果這是重複的，我已經瀏覽了很多有關此主題的問題，雖然他們似乎也應該爲我的問題工作，但我無法弄清楚如何調整它們以使它們工作對我來說）

這是我到目前爲止的代碼：

import pyodbc 
import pandas.io.sql 

conn = pyodbc.connect('DRIVER={Microsoft Access Driver (*.mdb, *.accdb)};DBQ=C:\\Users\\<filename>.accdb') 

sql_crash = "SELECT * FROM CRASH" 
df_crash = pandas.io.sql.read_sql(sql_crash, conn) 
df_c_head = df_crash.head() 
df_c_desc = df_c_head.describe() 

for k in df_c_desc: 
    df_c_unique = df_c_desc[k].unique() 
    print(df_c_unique.value_counts()) #Generates the error "numpy.ndarray object has no attribute .value_counts() 

Answer 1

我會遍歷value_counts().items()每列：

>>> df["CRASH_DAY_NO"].value_counts() 
01 2 
05 1 
dtype: int64 
>>> df["CRASH_DAY_NO"].value_counts().items() 
<zip object at 0x7fabf49f05c8> 
>>> for value, count in df["CRASH_DAY_NO"].value_counts().items(): 
...  print(value, count) 
...  
01 2 
05 1 

因此，像

def vc_xml(df): 
    for col in df: 
     yield '<variable = "{}">'.format(col) 
     for k,v in df[col].value_counts().items(): 
      yield " <code>{}</code>".format(k) 
      yield " <count>{}</count>".format(v) 
     yield '</variable>' 

with open("out.xml", "w") as fp: 
    for line in vc_xml(df): 
     fp.write(line + "\n") 

給我

<variable = "CRASH_DAY_NO"> 
    <code>01</code> 
    <count>2</count> 
    <code>05</code> 
    <count>1</count> 
</variable> 
<variable = "CRASH_DT"> 
    <code>1/1/2013</code> 
    <count>2</count> 
    <code>1/5/2013</code> 
    <count>1</count> 
</variable> 
<variable = "CRASH_MO_NO"> 
    <code>01</code> 
    <count>2</count> 
    <code>03</code> 
    <count>1</count> 
</variable> 

Answer 2

這裏是答案啓發this question答案。但是我不知道它在你的情況下是否足夠可擴展。

df = pd.DataFrame({'CRASH_DAY_NO': [1, 1, 5, 2, 2], 
'CRASH_DT': ['10/2/2014 5:00:08 PM', 
    '5/28/2014 1:29:28 PM', 
    '5/28/2014 1:29:28 PM', 
    '7/14/2014 5:42:03 PM', 
    '6/3/2014 10:33:22 AM'], 
'CRASH_ID': [1486150, 1486152, 1486224, 1486225, 1486226], 
'SEG_PT_LRS_MEAS': [79.940226960000004, 
    297.80989999000002, 
    140.56460290999999, 
    759.43600000000004, 
    102.566036], 
'SER_NO': [1, 3, 4, 5, 6]}) 

df = df.apply(lambda x: x.value_counts(sort=False)) 
df.index = df.index.astype(str) 
# Transforming to XML by hand ... 
def func(row): 
    xml = ['<variable = "{0}">'.format(row.name)] 
    for field in row.index: 
     if not pd.isnull(row[field]): 
      xml.append(' <code>{0}</code>'.format(field)) 
      xml.append(' <count>{0}</count>'.format(row[field])) 
    xml.append('</variable>') 
    return '\n'.join(xml) 

print('\n'.join(df.apply(func, axis=0))) 

<variable = "CRASH_DAY_NO"> 
    <code>1</code> 
    <count>2.0</count> 
    <code>2</code> 
    <count>2.0</count> 
    <code>5</code> 
    <count>1.0</count> 
</variable> 
<variable = "CRASH_DT"> 
    <code>5/28/2014 1:29:28 PM</code> 
    <count>2.0</count> 
    <code>7/14/2014 5:42:03 PM</code> 
    <count>1.0</count> 
    <code>10/2/2014 5:00:08 PM</code> 
    <count>1.0</count> 
    <code>6/3/2014 10:33:22 AM</code> 
    <count>1.0</count> 
</variable> 
....