3
我正在編寫一個應用程序來進行文件轉換,其中一部分是用新帳號替換舊帳號。訪問Python中標識符映射的有效方法
現在我有一個CSV文件映射舊的和新的賬號與約30K記錄。我把它讀入並存儲爲字典,並在編寫新文件時從字典中通過鍵獲取新帳戶。
我的問題是,如果CSV文件增加到100K +記錄,最好的方法是什麼?
將帳戶映射從CSV轉換爲sqlite數據庫而不是將它們存儲爲內存中的字典會更有效嗎?
我正在編寫一個應用程序來進行文件轉換,其中一部分是用新帳號替換舊帳號。訪問Python中標識符映射的有效方法
現在我有一個CSV文件映射舊的和新的賬號與約30K記錄。我把它讀入並存儲爲字典,並在編寫新文件時從字典中通過鍵獲取新帳戶。
我的問題是,如果CSV文件增加到100K +記錄,最好的方法是什麼?
將帳戶映射從CSV轉換爲sqlite數據庫而不是將它們存儲爲內存中的字典會更有效嗎?
只要他們都適合記憶,字典將是最有效的解決方案。編碼也更容易。現代計算機上的100k記錄應該沒有問題。
如果記錄數量非常大,切換到SQLite數據庫是一個不錯的選擇。
謝謝。你能量化「非常大」嗎?你在想數百萬嗎? – sixbelo 2010-06-05 13:14:46
@sixbelo:這取決於每個記錄的大小和你有多少RAM。我在想數百萬,但就像我說的,這取決於。 – 2010-06-05 13:56:04