如何保存運行python程序的狀態以便恢復以後

Question

我正在開發機器學習分析程序，它必須在linux中處理27GB的文本文件。雖然我的生產系統不會經常重新啓動，但我需要在家庭計算機或開發環境中進行測試。

現在我經常停電，所以我很難連續運行3周。

我的程序讀取文件，應用一些解析，將過濾的數據保存在字典中的新文件中，然後將這些算法應用於這些文件，然後將結果保存在mysqlDB中。

我無法找到如何保存算法狀態。

Answer 1

我關於算法的狀態都被保存在一個類中，你可以序列化類的保存到磁盤：http://docs.python.org/2/library/pickle.html

Answer 2

由於整個算法狀態可以被保存在一個類中，你可能想使用pickle （如上所述），but pickle comes with it's own overloads and risks。

要獲得更好的方法，您可能需要查看this article，這可以解釋爲什麼您應該使用camel庫而不是pickle。