檢查python中合併/合併期間出現的錯誤的大數據幀

Question

我希望這是一個合適的問題。如果沒有，請告訴我，我會立即將其刪除。

問：

如何我可以使用Python檢查（視覺？）的組合過程中出現的錯誤，大數據集？

背景：

我與我相結合，形成一個更大的數據集幾大（但不是，你知道「大」）數據集進行操作。這個新的設置大小約爲2.5G，所以它不適合大多數電子表格程序，或者至少不是我嘗試過的（MS Excel，OpenOffice）。

創建最終數據集的過程使用模糊匹配（通過fuzzywuzzy），並且我想檢查匹配的結果以查看是否引入了任何錯誤。

截至目前，我已經嘗試將整個集合導入pandas數據框。這個DF有64列，所以當我簡單地做一些像df.head()這樣的結果顯示的信息顯然不會顯示所有列;因此我排除了迭代多個.head()調用。

還有一個類似的問題，關於可視化數據幀的特定方面here。我認爲我的問題是不同的，因爲我不需要想象關於底層結構或類型的任何東西。我只是想直觀地檢查我懷疑可能有錯誤的地方。

Answer 1

如何切片您的10-12行，然後轉置您有64行x 12列數據框。這應該是可讀的，只要你沒有非常大的索引名稱。

import pandas as pd 
import numpy as np 

# Set max number of rows, 64 would be enough here but I'm trying to be safe 
pd.set_option('display.max_rows', 500) 

df = pd.DataFrame(np.random.randn(1000,64)) 
nstart = 100 
# Slice 12 lines starting at nstart, and transpose that... 
df.iloc[nstart:(nstart+13)].T 

我不介意你在這裏輸出，但嘗試運行上面的代碼。