使用NVIDIA TensorRT推理引擎運行Tensorflow

Question

我想使用NVIDIA TensorRT來運行我的Tensorflow模型。當然，TensorRT支持Caffe prototxt網絡描述符文件。

我無法找到將Tensorflow模型轉換爲Caffe模型的源代碼。有沒有解決方法？

Answer 1

TensorRT 3.0支持通過它的UFF（通用框架格式）導入/轉換TensorFlow圖。某些圖層實現丟失，需要通過IPlugin接口進行自定義實現。

以前的版本不支持本地導入TensorFlow模型/檢查點。

您還可以將圖層/網絡描述導出爲您自己的中間格式（如文本文件），然後使用TensorRT C++ API構建推理圖。您必須單獨導出卷積權重/偏差。請務必注意重量格式 - TensorFlow使用NHWC，而TensorRT使用NCHW。對於權重，TF使用RSCK（[filter_height，filter_width，input_depth，output_depth]），TensorRT使用KCRS。

爲張量格式的進一步討論，請參閱本文： https://arxiv.org/abs/1410.0759

而且這個環節有一些有用的相關信息： https://www.tensorflow.org/versions/master/extend/tool_developers/

Answer 2

目前不需要解決方法作爲新TensorRT 3增加了TensorFlow支持。