在我陳述我的問題之前,讓我把我的約束 - 我不能發佈代碼,因爲它與我的工作有關,而且他們不允許它。所以這只是一個調查問卷,以查看是否有人看到類似的問題。python多處理(使用pytable)在最終輸出中錯過了隊列中的一些結果
我有一個python多處理設置在工作人員做的工作,並把結果放入隊列。一位特殊的作家工作者然後從隊列中累積結果。這些結果是簡單的熊貓系列。累加器將結果放入熊貓數據框並將其寫入磁盤上的pytable。
問題是我隨機看到數據幀中有時會丟失一些結果,例如,在268個預期的專欄中,我將得到267.在過去的三個月裏,這發生了大約80次中的10次。治療方法是 - 簡單地重新運行代碼(這意味着重新計算所有內容),並且第二次運行100%。我確保在計算中沒有錯誤,所以我的猜測是它與多處理或可pytable數據寫入有關。
任何提示表示讚賞。對不起,不能把代碼。