MPI_reduce與MPI_allreduce的成本

Question

MPI_Reduce和MPI_allreduce（根據網絡延遲和帶寬）的成本是多少。

我很感激，如果你也可以提供參考算法。成本模式是否隨消息大小而變化？

Answer 1

我會推薦下載一個基準測試。英特爾®MPI基準測試只能使用MPI_Reduce和MPI_Allreduce來運行，以顯示每個測試的預期時間。這是開源的，您可以使用您首選的MPI實現進行編譯並使用各種參數進行測試。默認情況下，您將得到一組跨越消息大小高達4 MB的結果。您可以在https://software.intel.com/en-us/articles/intel-mpi-benchmarks下載它。

Answer 2

這些論文描述MPI減少算法：

• http://www.mcs.anl.gov/~thakur/papers/ijhpca-coll.pdf
• https://fs.hlrs.de/projects/rabenseifner/publ/myreduce_iccs2004_2.pdf

通常，有用於MPI集合許多不同的協議，與基於消息的大小的選擇，有多少涉及的過程等。

在MPI減少的情況下，某種形式的減少樹在MPI通信器上實例化。對於大消息，Rabenseifner的算法可能更有效。