將圖表原型（pb/pbtxt）轉換爲SavedModel以用於TensorFlow Serving或雲ML引擎

Question

我一直在關注我訓練過的模型上的TensorFlow for Poets 2 codelab，並創建了一個嵌入了凍結的量化圖權重。它被捕獲在一個文件中 - 比如說my_quant_graph.pb。

由於我可以使用該圖進行TensorFlow Android inference library的推理，所以我認爲我可以對Cloud ML Engine做同樣的工作，但它似乎只適用於SavedModel模型。

如何簡單地將單個pb文件中的凍結/量化圖形轉換爲ML引擎使用？

Answer 1

事實證明，一個SavedModel提供了一些額外的信息圍繞一個保存的圖形。假設凍結圖不需要資產，那麼它只需要指定的服務簽名。

下面是我運行的python代碼，將我的圖轉換爲Cloud ML引擎接受的格式。注意我只有一對輸入/輸出張量。

import tensorflow as tf 
from tensorflow.python.saved_model import signature_constants 
from tensorflow.python.saved_model import tag_constants 

export_dir = './saved' 
graph_pb = 'my_quant_graph.pb' 

builder = tf.saved_model.builder.SavedModelBuilder(export_dir) 

with tf.gfile.GFile(graph_pb, "rb") as f: 
    graph_def = tf.GraphDef() 
    graph_def.ParseFromString(f.read()) 

sigs = {} 

with tf.Session(graph=tf.Graph()) as sess: 
    # name="" is important to ensure we don't get spurious prefixing 
    tf.import_graph_def(graph_def, name="") 
    g = tf.get_default_graph() 
    inp = g.get_tensor_by_name("real_A_and_B_images:0") 
    out = g.get_tensor_by_name("generator/Tanh:0") 

    sigs[signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY] = \ 
     tf.saved_model.signature_def_utils.predict_signature_def(
      {"in": inp}, {"out": out}) 

    builder.add_meta_graph_and_variables(sess, 
             [tag_constants.SERVING], 
             signature_def_map=sigs) 

builder.save()