Tensorflow如何支持Cuda流？

Question

Tensorflow是否自動利用Cuda流在單個GPU上同時執行計算圖或者應該將流手動分配給操作/張量？

Answer 1

現在，TensorFlow只使用一個計算流和多個複製流。一些內核可以選擇使用多個流進行計算，同時保持單流語義。

我們的實驗顯示，啓用多數據流自動不會帶來太多的性能提升，因爲我們的大多數內核都足夠大以利用GPU中的所有處理器。但啓用多碼流將禁用我們目前的設計，積極回收GPU內存。

這是我們未來可能會重新考慮的決定。如果發生這種情況，TensorFlow可能會自動將操作系統/內核分配給不同的Cuda流，而不會將它們暴露給用戶。