2012-08-27 153 views
7

我有一個扁平文件輸入數據。我想通過將其分解成表格來規範化這些數據。我可以用pandas整齊地做到這一點 - 也就是說,將平展數據讀入DataFrame實例,然後應用一些函數以獲得DataFrame實例?pandas:正常化DataFrame

例子:

數據是給我在磁盤的CSV形式的文件是這樣的:

ItemId ClientId PriceQuoted ItemDescription 
1  1   10   scroll of Sneak 
1  2   12   scroll of Sneak 
1  3   13   scroll of Sneak 
2  2   2500   scroll of Invisible 
2  4   2200   scroll of Invisible 

我要創建兩個DataFrames:

ItemId ItemDescription 
1  scroll of Sneak 
2  scroll of Invisibile 

ItemId ClientId PriceQuoted 
1  1   10 
1  2   12 
1  3   13 
2  2   2500 
2  4   2200 

如果pandas對於最簡單的情況只有一個很好的解決方案(正如在上面的例子中規範化會導致2個表具有多對一的關係),這對我目前的需求來說可能就足夠了。但是,我可能需要一個更通用的解決方案。

回答

9
In [30]: df = pandas.read_csv('foo1.csv', sep='[\s]{2,}') 

In [30]: df 
Out[30]: 
    ItemId ClientId PriceQuoted  ItemDescription 
0  1   1   10  scroll of Sneak 
1  1   2   12  scroll of Sneak 
2  1   3   13  scroll of Sneak 
3  2   2   2500 scroll of Invisible 
4  2   4   2200 scroll of Invisible 

In [31]: df1 = df[['ItemId', 'ItemDescription']].drop_duplicates().set_index('ItemId') 

In [32]: df1 
Out[32]: 
      ItemDescription 
ItemId 
1   scroll of Sneak 
2  scroll of Invisible 

In [33]: df2 = df[['ItemId', 'ClientId', 'PriceQuoted']] 

In [34]: df2 
Out[34]: 
    ItemId ClientId PriceQuoted 
0  1   1   10 
1  1   2   12 
2  1   3   13 
3  2   2   2500 
4  2   4   2200