兩個圖形卡之間的通信

Question

CUDA如何同步兩個圖形卡？他們如何交流？我有兩張特斯拉卡，但我不知道如何在它們之間進行通信。

我需要在RAM中存儲5 gb矩陣。我有兩個特斯拉卡每個3GB RAM。我可以通過將內核分成更小的內容來強制同步嗎？

Answer 1

NVIDIA開發技術工程師tutorial on multi-GPU programming Paulius Micikevicius在多個GPU上提供了CUDA編程的全面概述，包括GPU之間的通信和同步。總之，CUDA運行時API（v4.x和更高版本）提供cudaMemcpy*函數提供對等複製功能，並且可以通過使用流和事件API（例如cudaStreamWaitEvent()）來實現同步。