存儲MySql查詢結果以便更快地重用

Question

我正在分析python中MySql數據庫中的數據。我查詢數據庫大約200,000行數據，然後使用Pandas在python中進行分析。我會經常對相同的數據做很多迭代，改變不同的變量，參數等等。每次運行程序時，我都會查詢遠程數據庫（大約10秒查詢），然後在程序結束時放棄查詢結果。我想將最後一個查詢的結果保存在本地文件中，然後在每次運行程序時查看查詢是否相同，然後使用保存的結果。我想我可以將熊貓數據框寫入csv，但有沒有更好/更簡單/更快的方法來做到這一點？

Answer 1

如果出於任何原因的MySQL Query Cache沒有幫助，那麼我建議你保存最新的結果無論是在HDF5格式或羽毛格式設置。這兩種格式都非常快。您可以在這裏找到一些演示和測試：

https://stackoverflow.com/a/37929007/5741205

https://stackoverflow.com/a/42750132/5741205

https://stackoverflow.com/a/42022053/5741205

Answer 2

只需用泡菜來寫數據幀到一個文件，並讀回了（「unpickle」） 。

https://docs.python.org/3/library/pickle.html

這將是 「簡單的方法」。