TensorFlow推理（服務），CPU是否足夠？

Question

通常在我訓練好自己的模型之後，我會用同樣的GPU去做。

但是，如果我想將它作爲服務在線提供，我們是否還需要一個GPU實例進行推理？或者一個CPU實例是否足夠？

謝謝。

Answer 1

當您導出模型時，設備將被清除。以下是此功能的單元測試：https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/saved_model/saved_model_test.py#L564

從評論複製：處理大批量GPU時速度很快。在推斷單個輸入時，CPU足夠快。