與Numpy.loadtxt並行處理（）

Question

我有需要與numpy.loadtxt()

讀取部分是在我的代碼的主要瓶頸讀取的> 100MB的文件。對於一個72MB的文件需要17.3s

是在某種程度上可能以並行的方式讀取使用loadtxt()

如果可能的文件，不要把文件。

Answer 1

看起來像numpy.loadtxt（）是你的問題。

http://wesmckinney.com/blog/?p=543

http://codrspace.com/durden/performance-lessons-for-reading-ascii-files-into-numpy-arrays/

根據這些網站，你最好不要使用numpy的的負載功能都沒有。

pandas.read_csv和read_table應該從熊貓模塊很有幫助。