使用Tensor Flow訓練過的模型作爲服務

Question

我剛開始使用張量流。我能夠成功地訓練它以創建我創建的數據集。現在的問題是，我將如何能夠使用此模型進行預測。我想把它作爲一個REST服務，我將能夠傳遞一些值並獲得預測作爲響應。任何有用的鏈接也歡迎。該模型目前在虛擬機上。

謝謝:)

Answer 1

首先：儘量保存和加載模型：https://www.tensorflow.org/versions/r0.11/how_tos/variables/index.html

然後，訓練結束後，你可以簡單地調用：

rest_prediction = sess.run(prediction_tensor, feed_dict={x_tensor: user_input})

的一個重要區別是在培訓期間你有batch_size輸入，但是當你有一個REST服務器時你有1個輸入。張量的形狀（https://www.tensorflow.org/versions/r0.11/resources/dims_types.html）應該是可變的。你可以在這裏找到如何實現：https://www.tensorflow.org/versions/r0.11/resources/faq.html#tensor-shapes

如果你發佈一個簡短的代碼片段，我們可能會幫助你更好。

Answer 2

你見過Cloud ML on GCP嗎？這可能正是你要找的。
https://cloud.google.com/ml/

您可能需要做出一些調整模型的架構 - 像變批量大小和添加輸入/輸出到集合 - 但它們在documentation.

如果性能，可擴展性很好的解釋如果您決定更新模型並不是一個問題，那麼您可以考慮只安裝一個簡單的帶張量流量瓶的服務器。

如果您不想使用Cloud ML並需要提供大量請求，請查看tensorflow serving。