2017-07-03 35 views
0

在我陳述我的問題之前,讓我把我的約束 - 我不能發佈代碼,因爲它與我的工作有關,而且他們不允許它。所以這只是一個調查問卷,以查看是否有人看到類似的問題。python多處理(使用pytable)在最終輸出中錯過了隊列中的一些結果

我有一個python多處理設置在工作人員做的工作,並把結果放入隊列。一位特殊的作家工作者然後從隊列中累積結果。這些結果是簡單的熊貓系列。累加器將結果放入熊貓數據框並將其寫入磁盤上的pytable。

問題是我隨機看到數據幀中有時會丟失一些結果,例如,在268個預期的專欄中,我將得到267.在過去的三個月裏,這發生了大約80次中的10次。治療方法是 - 簡單地重新運行代碼(這意味着重新計算所有內容),並且第二次運行100%。我確保在計算中沒有錯誤,所以我的猜測是它與多處理或可pytable數據寫入有關。

任何提示表示讚賞。對不起,不能把代碼。

回答

0

沒有代碼就很難幫到你。但我只是想,如果你想在你的代碼中找到「瘦」的地方,你必須寫下它的日誌。

據我所知,你的工作人員必須創建268系列,作爲最終數據框中的列。如果這些系列的形狀相同,那麼似乎是隊列工作者的問題 - 並且您必須將其記錄在可以執行的所有步驟中。

相關問題