難CSV導入

Question

我有行.csv文件的格式如下

1234, "Hello, Im text. "Thats a silly way to do it" is what the guy said.", 5678

的一些條目的內容包含雙引號和逗號。然而，他們永遠不會彼此相鄰。部分文本條目長達524,288個字符

pandas.read_csv('file.csv', dtype={'a': np.uint16, 'b': 'S524288', \ 
'c', np.uint16}, delimiter=',', quotechar='"', engine='python') 

給我一個錯誤。

ParserError: field is larger than field limit (131072)

任何想法？

Answer 1

一個側面說明：

在Python，無論在哪裏"是，在字符串中有他們的麻煩。

當您設置

x = "He said "hi there!" to me" 

這將返回一個錯誤，因爲它解析字符串"He said "，然後出現了錯誤與hi there!。這可能會遇到一個問題，具體取決於您解析csv文件的方式。

比你收到這將返回不同的錯誤，所以它可能不會構成即時的問題，但如果你在你的問題上載的行中它實際上有"Hello, Im text. "Thats a silly way to do it" is what the guy said."你可能會遇到在路上的問題。

回到手頭的問題：

爲了解決您收到的錯誤，你可以嘗試運行：

import sys 
import csv 

csv.field_size_limit(sys.maxsize) 

這應該增加字段read_csv()接受的大小。

希望它有幫助！

Source