2012-12-11 112 views

回答

1

我們的導入工作人員遇到了CPU使用限制並被殺死。我們正在增加限制,但它可能是一個損壞的gzip文件。限制提高後,我會更新此響應。

我意識到這可能是一個大文件的痛苦,但你可以重試一個未壓縮的文件?如果您有一個未壓縮的文件並將allow_quoted_newlines設置爲false,則導入將並行完成,並且應該高達100倍。

+1

它與未壓縮的70Gb文件一起工作,並通過allow_quoted_newlines = false導入非常快! –

+0

gzip文件似乎沒問題。 Gzip -t不會抱怨。這裏是鏈接:http://commondatastorage.googleapis.com/staq-events/events-100k-1.csv.gz –