設備與CUDA的分裂

Question

我正在尋找一種方法來劃分我的Nvidia GPU設備，以便我可以同時運行兩套內核，而不需要爲SMs而戰。

根據文檔，在openCL中，您可以使用clCreateSubDevices。有沒有CUDA等價物？

Answer 1

我個人在CUDA中沒有遇到過這樣的功能。

要同時運行兩個內核，可以計算內核的佔用率，相應地調用有限數量的塊，並在內核中使用循環來模擬更多塊的存在。每個線程可能會花費更多的寄存器。如果您不想觸摸內核的內容，則可以多次啓動流中的每個內核，每次使用有限的網格大小。第二種方法的成本在一個流的內核之間轉換時可能未被完全佔用的SM。