通過事件線程同步的開銷

Question

我正在嘗試多線程同步。對於一個背景，我有一套約100000個對象 - 可能更多 - 我想以不同的方式每秒處理多次。

現在我最關心的是同步的性能。

這是我認爲應該工作得很好（我省略了所有的安全方面，因爲這只是一個測試程序，如果出現錯誤，程序將會崩潰..）。我寫了兩個funktions，第一個由程序的主線程執行，第二個由所有其他線程運行。

void SharedWorker::Start() 
{ 
    while (bRunning) 
    { 
     // Send the command to start task1 
     SetEvent(hTask1Event); 

     // Do task1 (on a subset of all objects) here 

     // Wait for all workers to finish task1 
     WaitForMultipleObjects(<NumberOfWorkers>, <ListOfTask1WorkerEvents>, TRUE, INFINITE); 

     // Reset the command for task1 
     ResetEvent(hTask1Event); 

     // Send the command to start task2 
     SetEvent(hTask2Event); 

     // Do task2 (on a subset of all objects) here 

     // Wait for all workers to finish task2 
     WaitForMultipleObjects(<NumberOfWorkers>, <ListOfTask2WorkerEvents>, TRUE, INFINITE); 

     // Reset the command for task2 
     ResetEvent(hTask2Event); 

     // Send the command to do cleanup 
     SetEvent(hCleanupEvent); 

     // Do some (on a subset of all objects) cleanup 

     // Wait for all workers to finish cleanup 
     WaitForMultipleObjects(<NumberOfWorkers>, <ListOfCleanupWorkerEvents>, TRUE, INFINITE); 

     // Reset the command for cleanup 
     ResetEvent(hCleanupEvent); 
    } 
} 

DWORD WINAPI WorkerThreads(LPVOID lpParameter) 
{ 
    while (bRunning) 
    { 
     WaitForSingleObject(hTask1Event, INFINITE); 

     // Unset finished cleanup 
     ResetEvent(hCleanedUp); 

     // Do task1 (on a subset of all objects) here 

     // Signal finished task1 
     SetEvent(hTask1); 

     WaitForSingleObject(hTask2Event, INFINITE); 

     // Reset task1 event 
     ResetEvent(hTask1); 

     // Do task2 (on a subset of all objects) here 

     // Signal finished task2 
     SetEvent(hTask2); 

     WaitForSingleObject(hCleanupEvent, INFINITE); 

     // Reset update event 
     ResetEvent(hTask2); 

     // Do cleanup (on a subset of all objects) here 

     // Signal finished cleanup 
     SetEvent(hCleanedUp); 
    } 

    return 0; 
} 

要指出我的要求，我只是給你一個小例子： 說我們得到了上述10萬點的對象，分成12500個對象中的每個，現代多核處理器的8子集有8個邏輯核心。相關部分是時間。所有任務必須在大約8ms內完成。

我現在的問題是，我能從分割處理中獲得顯着的提升，還是通過事件的同步過於昂貴？或者如果所有任務都需要這樣完成，甚至有另一種方法可以用更少的努力或處理時間同步線程？

Answer 1

如果您對單個對象的處理速度很快，請不要在線程之間進行拆分。 Windows上的線程同步在每個上下文切換時都會消耗50ms以上的時間。系統不使用這段時間，而只是在系統上運行其他內容的時間。

但是，如果每個對象處理大約需要8ms，那麼跨線程池就有一個工作計劃點。然而，對象處理可能會有所不同，並且大量工作者線程會在不同的時刻完成工作。

更好的方法是組織一個同步的對象隊列，您可以添加要處理的對象，並從中處理它們。此外，由於單個對象的處理比線程的調度間隔低很多，所以最好將它們分批處理（如10-20）。您可以估算池中工作線程的最佳數量，以及具有測試的最佳批處理大小。

所以僞代碼可以是這樣的：

main_thread: 
    init queue 
    start workers 

    set counter to 100000 
    add 100000 objects to queue 
    while (counter) wait(); 

worker_thread: 
    while (!done) 
     get up to 10 objects from queue 
     process objects 
     counter -= processed count 
     if (counter == 0) notify done