使用客戶端的Tensorflow服務

Question

我成功創建了一個接收TF saved_model的服務器，但現在我想向它發送查詢並獲得預測結果。 但是，我很難理解客戶端如何工作以及如何實現它。 我在網上找到的所有信息都是basic tutorial，但它們只給出了mnist的客戶端代碼，並且它不適合我自己的mdoel。 那麼任何人都可以向我推薦如何使用或實現不同模型的客戶端？

感謝

Answer 1

我真的很感謝谷歌作出tensorflow服務開源的，它是對我這樣的人把預測模型投入生產，從而幫助。但是我不得不承認張量流服務在文檔中做得很差，或者他們認爲使用它的人應該已經對張量流程有了很好的瞭解。我堅持了很長時間才明白它是如何工作的。在他們的網站中，他們很好地介紹了概念和例子，但是它們之間缺少一些東西。我會推薦教程here。這是第一部分，你也可以按照第二部分，該鏈接將在該文章中。

通常，將.ckpt文件導出到可維護模型（.pb文件和變量文件夾）時，必須定義模型的輸入，輸出和方法名稱並將它們保存爲簽名tf.saved_model.signature_def_utils.build_signature_def

在這篇文章中，你會發現我在這部分上面說：

tf.saved_model.signature_def_utils.build_signature_def( 
    inputs={‘images’: predict_tensor_inputs_info}, 
    outputs={‘scores’: predict_tensor_scores_info}, 
    method_name=\ 
     tf.saved_model.signature_constants.PREDICT_METHOD_NAME) 

您可以跟隨筆者定義的輸入和輸出方面的文章，以及如何做同樣的事情到您的自定義模式。

之後，您必須在您的客戶端腳本中調用簽名和Feed輸入到服務器，然後服務器纔會識別使用哪種方法並返回輸出。您可以檢查作者如何編寫客戶端腳本並查找呼叫簽名和饋送輸入的相應部分。