pandas read_csv將混合類型列轉換爲字符串

Question

pandas'read_csv函數中是否有任何選項可以自動將object dtype的每個項目轉換爲str。

例如，我在嘗試讀取一個CSV文件時的情況如下：

mydata = pandas.read_csv(myfile, sep="|", header=None)

C:\...\pandas\io\parsers.py:1159: DtypeWarning: Columns (6,635) have mixed types. Specify dtype option on import or set low_memory=False. data = self._reader.read(nrows)

是否有辦法使得（i）從印刷抑制警告，但（ii）我可以從中提取特定列的字符串中捕獲警告消息，例如6和635在這種情況下（以便我可以修復後續dtype）？或者，或者，如果我可以指定mixed types，那麼read_csv函數應該將該列中的值轉換爲str？

我使用Python 3.4.2和熊貓0.15.2

Answer 1

的Dtypewarning是Warning可以捕獲並採取行動。有關更多信息，請參閱here。要捕捉警告，我們需要將執行包裝在warnings.catch_warnings區塊中。警告消息和受影響的可使用regex被提取的列，然後用於設定使用.astype(target_type)

import re 
import pandas 
import warnings 

myfile = 'your_input_file_here.txt' 
target_type = str # The desired output type 

with warnings.catch_warnings(record=True) as ws: 
    warnings.simplefilter("always") 

    mydata = pandas.read_csv(myfile, sep="|", header=None) 
    print("Warnings raised:", ws) 
    # We have an error on specific columns, try and load them as string 
    for w in ws: 
     s = str(w.message) 
     print("Warning message:", s) 
     match = re.search(r"Columns \(([0-9,]+)\) have mixed types\.", s) 
     if match: 
      columns = match.group(1).split(',') # Get columns as a list 
      columns = [int(c) for c in columns] 
      print("Applying %s dtype to columns:" % target_type, columns) 
      mydata.iloc[:,columns] = mydata.iloc[:,columns].astype(target_type) 

結果應該是相同的DataFrame設置爲一個str類型有問題的列正確的列類型。值得注意的是，Pandas DataFrame中的字符串列被報告爲object。