2014-03-07 26 views
0

原始數據是股票價格數據,高達3秒的數千股股票存儲在文本文件中的幾個月內。我使用RSQLite將數據寫入本地SQLite數據庫。據我所知,DatePOSIXct對象不能以原始格式存儲,而是整數。我需要在SQLite中將它們存儲爲TEXT。數據庫文件變成近1.5GB。當我需要使用這些數據並執行一些時間序列操作(例如,將數據彙總爲每個股票的10-minite頻率)時,我需要將character列轉換爲POSIXct類型,這種類型需要很長時間,這是由於數據幀加載到R環境中。R:在大數據框架中將字符列轉換爲POSIXct數據時有更快的方法嗎?

是否有更好的做法來處理這一切?像使用data.tableplyr包?

我主要關心的是與xts等時間序列軟件包進行互操作的性能問題和靈活性。

回答

2

SQLite確實缺乏適當的日期時間類型;你可能需要考慮另一個後端,比如PostgreSQL(後來RPostgreSQL正確地獲取日期和時間)。

對於解析/日的轉換時間文本到POSIXct,最好的辦法是西蒙的fasttime提供的數據是正確的ISO格式,如2014年3月6日22:23:24.123456。

+3

fasttime也假定GMT。 –

+0

正確。感謝您的提醒。 –