2013-02-15 117 views
0

我有一種情況,我的腳本解析大約20000個條目並將它們保存到數據庫。我已經使用了大約需要35秒的事務來保存並消耗高內存,因爲直到提交的查詢保存在內存中。用python編寫文件

我已經找到另一種方式來編寫CSV,然後使用「copy_from」加載到postgres中,這非常快。如果有人可以建議,如果我應該在開始時打開一次文件,然後關閉文件,同時加載到postgres或打開文件,當單個條目準備好寫入然後關閉。

什麼是節省內存使用率的最佳方法?

回答

1

減少交易規模?

+0

如果我提交了1000條記錄或5000條記錄,那麼20000條記錄的累計時間從單條20000條記錄增加到 – sharafjaffri 2013-02-15 07:54:20

+1

。這是內存使用和速度之間的折中。 – hd1 2013-02-15 07:55:21

+0

什麼是交易的最佳尺寸? – sharafjaffri 2013-02-15 08:04:05