更快/批量主動記錄創建

Question

我的應用程序正在存儲來自GPS輸入的位置數據。導入GPX文件時，用戶可以擁有500-10,000個GPS數據點。現在，我爲每個軌跡點都有一個模型。它工作得很好，但插入時很慢。 10,000個數據點30秒以上。有沒有更好的批量插入方式？

所有的時間都花在SQL方面 - 每個插入都很快，但是10,000加起來很快。每個用戶可能有100個文件，100個用戶==長插入時間。當然不是全部。

我很樂意改變應用程序體系結構，如果這會有所幫助，只是不知道我有什麼替代品。我只使用GPS數據作爲一個單位。我從來沒有在集合中搜索一條記錄，所以整個ActiveRecord是矯枉過正的。

我不想做一個完整的隊列系統來處理這個愚蠢的插入。

Answer 1

一直在考慮這一點，似乎我的兩個選擇是將一個散列序列化到數據庫中的一個blob，或者將它存儲在別處。我沒有FS訪問權限，但可以使用S3。

所以我想我已經改變了我的問題。對於存儲100KB在創建後幾乎是只讀的對象，有關S3與blob存儲的一般原則的任何反饋？

我認爲this thread可能涵蓋了我正在尋找的東西！

Answer 2

使用AR-擴展的導入方法導入一次全部：http://github.com/zdennis/ar-extensions/blob/master/ar-extensions/lib/ar-extensions/import.rb#L49-215

的問題是，如果你做一個#save導入每個記錄，你實際上創造每行一個INSERT語句，並呼籲所有你的模型的驗證。您可以構建一個更大的SQL插入語句，將所有數據一次推入。