線程/ TPL等

Question

我有一個需求來處理1600萬條數據庫記錄，這是要帶我永遠。我不是很懂線程，所以我想在這裏問。我的想法是，我需要執行以下但我不確定如何：

1. 找我16米記錄
2. 拆分這些出成若干「塊」
3. 對發送每個塊的處理他們的在線程

這聽起來是否正確，我將如何將我的工作量（16m記錄）分成等等......？

如果你能提供合理的建議，歡呼聲。

Answer 1

我建議你使用知名生產者 - 消費者模式以下列方式：

• 一個單獨的線程（生產者）從DB拉記錄，創建任務（與單個或許多個記錄處理）並將它們放入共享隊列中。
• 一組線程（消費者）從隊列中提取任務並並行處理它們。

一個非常簡單的實現方法是使用ThreadPool類。它方便地爲您管理隊列和工作人員。您只需通過QueueUserWorkItem實施生產者和隊列任務。

或者，如果您要使用TPL結構，您可以使用Task s和可能是ConcurrentQueue的組合自己實現上述機制。

Answer 2

如果您想要並行處理項目的集合，那正是Parallel.Foreach()的用途。您只需將它傳遞給您想要爲每個項目執行的操作（可能是一個lambda），它將負責將您的集合拆分爲塊並執行它。

但是您必須小心處理該操作。這是因爲代碼將在更多的線程上併發執行，所以您不應該以非線程安全的方式訪問任何共享狀態。