2015-10-24 43 views
1

我有~30個列表,一些字典和其中大部分包含至少200個項目,整數和字符串。在Python中處理數據的首選方式是什麼?

使用硒和美麗的湯來分析數據,然後將其分成名稱/值列表,網站刷新和過程重複。

當發生這種情況時,我正在執行函數以將這些名稱/值轉換爲平均值,隨時間變化的比率,然後將這些值與先前的結果進行比較。

目前它只是被存儲在我的python腳本中的內存中。我已經看過使用csv文件來存儲和檢索數據,或者sqlite數據庫/甚至在內存中使用sqlite數據庫,但不知道這些選項有多快/多慢。

任何意見將不勝感激!

+0

使用取決於溶液約束你you'v e未在您的問題中指定,以及以後將如何使用存儲的數據的具體細節。正如所寫的,你的問題主要是基於意見的。你可以使用CSV嗎?是。一個SQL數據庫?是。泡菜?是。 JSON轉儲?是。 – Louis

+0

數據基本上一旦被捕獲就被使用,我說我想?我只是擔心內存存儲的上限,以及我是否應該做其他事情,或者更確切地說,我的計算機在什麼時候無法應對內存中的大量數據! – jfox

+0

從我的評論「**具體**細節」。說「數據一被捕獲就被基本消費」並不是特定的。 – Louis

回答

1

你說你的數據大多是ListsDicts那麼我的選擇就是用JSON

JSON非常適合key-value對,它最初是爲此目的而設計的。

JSON非常容易使用json模塊進行序列化或解碼。序列化JSON編碼listdict

>>> import json 
>>> json.loads('["foo", {"bar":["baz", null, 1.0, 2]}]') 
['foo', {'bar': ['baz', None, 1.0, 2]}] 

實施例到JSON

>>> import json 
>>> json.dumps([1,2,3,{'4': 5, '6': 7}], separators=(',', ':')) 
'[1,2,3,{"4":5,"6":7}]' 

更多的文檔的

實施例可在:

https://docs.python.org/3.5/library/json.html

相關問題