我可以捆綁兩條MPI消息嗎？

Question

我正在嘗試進行全無止境的溝通。基本上我有多個相同大小的浮點數組，由整數ID標識。

應該是每一個消息，如：

<int id><float array data> 

在接收端，它知道很多陣列究竟如何在那裏，從而建立RECVS的確切人數。收到消息後，它會解析該ID並將數據放入正確的位置。問題是可以從任何其他進程向接收進程發送消息。 （例如，生產者具有工作隊列結構，並且處理隊列中可用的任何ID）

由於MPI僅保證P2P在訂單遞送中，我不能在兩個消息中平分地放置整數ID和FP數據，否則接收器可能無法將id與數據匹配。 MPI不允許一次發送兩種類型的數據。

我只能想到兩種方法。

1）Receiver有一個大小爲m（source [m]）的數組，m是發送節點的數量。發件人先發送id，然後發送數據。接收者在收到來自發件人i的整數消息後將id保存到源[i]。在收到來自發件人i的FP數組後，它會檢查source [i]，獲取id並將數據移動到正確的位置。它的工作原理是MPI保證有序的P2P通信。它要求接收者保存每個發送者的狀態信息。更糟糕的是，如果一個發送進程可以在數據之前發送兩個id（例如多線程），則此機制將不起作用。

2）將id和FP視爲字節，並將它們複製到發送緩衝區中。將它們作爲MPI_CHAR發送，然後接收器將它們轉換回整數和FP數組。然後我需要支付複製東西到發送方的字節緩衝區的附加成本。隨着我在MPI進程中增加線程數量，總臨時緩衝區也會增長。

它們都不是完美的解決方案。我不想在進程中鎖定任何內容。我想知道你們有沒有更好的建議。

編輯：代碼將在包含infiniband的共享羣集上運行。機器將被隨機分配。所以我不認爲TCP套接字可以幫助我。另外，IPoIB看起來很貴。我確實需要完整的40Gbps速度進行通信，並讓CPU進行計算。

Answer 1

正如有人已經寫了，你可以使用MPI_ANY_SOURCE從任何來源獲得。要發送兩種不同類型的數據在一個單一的發送，你可以使用一個derived datatype：

#include <stdio.h> 
#include <stdlib.h> 
#include "mpi.h" 

#define asize 10 

typedef struct data_ { 
    int id; 
    float array[asize]; 
} data; 

int main() { 

    MPI_Init(NULL,NULL); 

    int rank = -1; 
    int size = -1; 
    MPI_Comm_rank(MPI_COMM_WORLD,&rank); 
    MPI_Comm_size(MPI_COMM_WORLD,&size); 

    data buffer;  
// Define and commit a new datatype 
    int   blocklength [2]; 
    MPI_Aint  displacement[2]; 
    MPI_Datatype datatypes [2]; 
    MPI_Datatype mpi_tdata; 

    MPI_Aint  startid,startarray; 
    MPI_Get_address(&(buffer.id),&startid); 
    MPI_Get_address(&(buffer.array[0]),&startarray); 

    blocklength [0] = 1; 
    blocklength [1] = asize; 
    displacement[0] = 0; 
    displacement[1] = startarray - startid; 
    datatypes [0] = MPI_INT; 
    datatypes [1] = MPI_FLOAT; 

    MPI_Type_create_struct(2,blocklength,displacement,datatypes,&mpi_tdata); 
    MPI_Type_commit(&mpi_tdata); 

    if (rank == 0) { 
    int  count = 0; 
    MPI_Status status; 

    while (count < size-1) { 
     // Non-blocking receive 
     printf("Receiving message %d\n",count); 
     MPI_Recv(&buffer,1,mpi_tdata,MPI_ANY_SOURCE,0,MPI_COMM_WORLD,&status); 
     printf("Message tag %d, first entry %g\n",buffer.id,buffer.array[0]); 
     // Counting the received messages 
     count++; 
    } 

    } else { 
    // Initialize buffer to be sent 
    buffer.id = rank; 
    for (int ii = 0; ii < size; ii++) { 
     buffer.array[ii] = 10*rank + ii; 
    } 
    // Send buffer 
    MPI_Send(&buffer,1,mpi_tdata,0,0,MPI_COMM_WORLD); 
    } 

    MPI_Type_free(&mpi_tdata); 

    MPI_Finalize(); 
    return 0; 
} 

Answer 2

您可以在接收函數中指定MPI_ANY_SOURCE作爲源排名，然後使用它們的標記排序消息，這比創建自定義消息更容易。這裏有一個簡單的例子：

#include <stdio.h> 
#include "mpi.h" 

int main() { 
    MPI_Init(NULL,NULL); 
    int rank=0; 
    int size=1; 
    MPI_Comm_rank(MPI_COMM_WORLD,&rank); 
    MPI_Comm_size(MPI_COMM_WORLD,&size); 

    // Receiver is the last node for simplicity in the arrays 
    if (rank == size-1) { 
     // Receiver has size-1 slots 
     float data[size-1]; 
     MPI_Request request[size-1]; 

     // Use tags to sort receives 
     for (int tag=0;tag<size-1;++tag){ 
      printf("Receiver for id %d\n",tag); 
      // Non-blocking receive 
      MPI_Irecv(data+tag,1,MPI_FLOAT, 
         MPI_ANY_SOURCE,tag,MPI_COMM_WORLD,&request[tag]); 
     } 

     // Wait for all requests to complete 
     printf("Waiting...\n"); 
     MPI_Waitall(size-1,request,MPI_STATUSES_IGNORE); 
     for (size_t i=0;i<size-1;++i){ 
      printf("%f\n",data[i]); 
     } 
    } else { 
     // Producer 
     int id = rank; 
     float data = rank; 
     printf("Sending {%d}{%f}\n",id,data); 
     MPI_Send(&data,1,MPI_FLOAT,size-1,id,MPI_COMM_WORLD); 
    } 

    return MPI_Finalize(); 
}