熊貓read_sql數據類型

Question

我必須比較兩個數據源，以查看所有行中的相同記錄是否相同。一個數據源來自Excel文件，另一個來自SQL表。我試過使用DataFrame.equals()就像我過去一樣。

但是，這個問題是由於討厭的數據類型問題。即使數據看起來相同，數據類型也使excel_df.loc[excel_df['ID'] = 1].equals(sql_df.loc[sql_df['ID'] = 1])返回False。下面是從pd.read_excel()數據類型的例子：

COLUMN ID       int64 
ANOTHER Id      float64 
SOME Date    datetime64[ns] 
Another Date    datetime64[ns] 

從pd.read_sql相同的列：

COLUMN ID      float64 
ANOTHER Id      float64 
SOME Date       object 
Another Date      object 

我可以嘗試使用converters參數從pd.read_excel()匹配SQL。或者也在做df['Column_Name] = df['Column_Name].astype(dtype_here)但我正在處理很多列。是否有更簡單的方法來檢查所有列的值？

檢查pd.read_sql()有像converters沒有的事情，但我在尋找類似：

df = pd.read_sql("Select * From Foo", con, dtypes = ({Column_name: str, 
                 Column_name2:int})) 

Answer 1

如何

excel_df = pd.read_excel(...) 
sql_df = pd.read_sql(...) 

# attempt to cast all columns of excel_df to the types of sql_df 
excel_df.astype(sql_df.dtypes.to_dict()).equals(sql_df) 

Answer 2

如果您看到「對象」 D類，這意味着，大熊貓能不會將某些行解釋爲日期，而是將整個列轉換爲Object（基本上是字符串）

查看文檔fo r dtypes，轉換器和parse_dates參數： https://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html

您還可以檢查dayfirst參數以正確解析日期。