數據存在日期,打開,高,低,關閉,卷,並且當前存儲在.csv文件中。目前它正在每分鐘更新一次,文件的時間越來越長,越來越多。一個問題是,當我需要從數據中獲取500個觀察值時,我需要導入整個.csv文件,這是一個問題。特別是當我需要快速訪問數據時。存儲財務數據的最有效方式(Python)
在Python中,我主要在數據框或面板中使用數據。
數據存在日期,打開,高,低,關閉,卷,並且當前存儲在.csv文件中。目前它正在每分鐘更新一次,文件的時間越來越長,越來越多。一個問題是,當我需要從數據中獲取500個觀察值時,我需要導入整個.csv文件,這是一個問題。特別是當我需要快速訪問數據時。存儲財務數據的最有效方式(Python)
在Python中,我主要在數據框或面板中使用數據。
我也建議使用數據庫,更新數據庫中的表格比csv文件更方便,而且如果您有大量的觀察數據,您將能夠更快地訪問/操作您的數據。
另一種解決方案是將單獨的更新保存在單獨的.csv文件中。 您仍然可以保留主文件(定期更新的文件),同時爲每個更新創建單獨的文件。
有沒有一個你對數據庫推薦的Python友好'提供者'? – Bondeaux
嘗試查看SQL Alchemy(它允許將代碼從底層數據庫中提取出來,最上面提供了核心和ORM模式)。另一個解決方案是使用一個特定的數據庫的Python驅動程序,你只是谷歌。 –
怎麼樣使用像MySQL/PostgreSQL的數據庫/ ... –
你可能想看看['pandas'](http://pandas.pydata.org/)庫。 –
@WillemVanOnsem是的,我想過,但你會用桌子嗎?是否有可能只檢索最後的xxx觀察值? – Bondeaux