並行編程矢量加法

Question

由於mpi中的開銷，矢量加法的處理是否比並行處理的時間更快？我通過分散兩個數組來使用mpi，然後爲每個從機在本地處理一定數量的向量對，然後執行收集以將所有值發送回主機。

Answer 1

是的，這是完全預期的。向量添加主要由讀取和寫入內存值的成本決定。添加比從存儲器讀取/寫入一個元素快幾個數量級。嘗試分散/添加/收集對提高性能無益。要從分散/收集中獲得性能，您必須對每個數據元素執行非常昂貴的操作，或者多次使用每個數據元素。

在一個慣用的MPI程序中，矢量應該首先分佈存在。

編輯：考慮到矩陣的每個元素只被訪問一次，矢量/矩陣乘法也是如此。