tensorflow-serving

-2熱度

1回答

推薦使用推斷時間與培訓時間的圖表的推薦方法是什麼？基本上，對於培訓來說，圖表需要各種組件進行數據輸入和增強，包括一些自定義操作，而在推理時，整個子圖可以由佔位符替換。如果目標是最小化推理時間模型的大小，我應該如何設置？我也不希望鏈接任何僅用於培訓的自定義操作。我主要關心的是做這件事的「正確」方式是什麼。基本上保證我可以使用tf.train.Saver（）將訓練圖還原到推理圖中，而不會有任何兼容

1熱度

1回答

如何從Java中的示例對象創建張量？

我的用例：我試圖在我們現有的JVM服務中使用libtensorflow_jni服務由python培訓的模型。現在我可以使用SavedModelBundle.load()加載模型。但是我發現很難將請求提供給模型。正如我的用戶的要求不單純是一個標量矩陣，但地圖的功能，如： {'gender':1, 'age': 20, 'country': 100, other features ...} 通

3熱度

1回答

如何使用張力流爲多個模型服務

如何使用多個tensorflow模型？我使用碼頭集裝箱。 model_config_list: { config: { name: "model1", base_path: "/tmp/model", model_platform: "tensorflow" }, config: { name: "model2",

1熱度

1回答

使用檢查點在Tensorflow Mnist模型上測試圖像

我是TensorFlow的新手。我得到了mnist火車樣本，我想通過生成檢查點來測試圖像。我參考了Tensorflow文檔並生成了檢查點並試圖測試樣本通過訪問softmax圖層。圖像number-9softmax給了我一個無效的單熱編碼數組，如'array（[[0.,0.1,0,0,0,0,0,0。，0,0,0,0]，dtype = float32）'，當我試圖訪問softmax使用 softm

0熱度

1回答

tf.parse_example對於序列數據序列的示例

我的Tensorflow模型爲每個示例引入一系列序列數據，即字序列中的字符標記序列（例如[[3]，[4,3 ]，[6,1,20]]）。我之前可以通過填充3D numpy數組[batch_size，max_words_len，max_chars_len]並將其提供給佔位符來完成此操作。 in_question_chars = tf.placeholder(tf.int32,

0熱度

1回答

保存模型Tensorflow服務

1熱度

1回答

SavedModelBundle加載程序是否支持GCS路徑作爲導出目錄

目前，我正在使用存儲在本地磁盤上的saved_model文件來讀取推理圖並在服務器中使用它。不幸的是，給SavedModelBundle.load API添加GCS路徑不起作用。試圖提供GCS路徑的文件，但沒有奏效。這是甚至支持，如果不是，我怎麼能實現這一點使用SavedModelBundle API，因爲我有一些生產服務器上運行谷歌雲，我想服務張量流圖。

3熱度

3回答

TensorFlow：如何從SavedModel預測？

我已經出口了一個SavedModel，現在我用來加載它並進行預測。它是訓練有素，具有以下特點和標籤： F1 : FLOAT32 F2 : FLOAT32 F3 : FLOAT32 L1 : FLOAT32 所以說，我想在值養活20.9, 1.8, 0.9得到一個FLOAT32預測。我該如何做到這一點？我已經成功地加載了模型，但我不確定如何訪問它以進行預測調用。 with tf.Sessi

1熱度

1回答

Java Tensorflow服務預測客戶端太慢

我創建了一個tensorflow對象檢測模型並使用tensorflow服務。我創建了一個python客戶端來測試服務模型，並且需要大約40ms的時間來接收所有的預測。 t1 = datetime.datetime.now() result = stub.Predict(request, 60.0) # 60 secs timeout t2 = datetime.datetime.now()

0熱度

1回答

服務tensorflow模型文件

好奇，如果任何人有類似的用例礦的培訓：我張流模型進行訓練tfrecord文件和queue runner。因此，該圖不使用佔位符。現在如何保存模型並在線提供服務？由於在服務期間，我們需要將請求的數據輸入到圖表中。如果沒有佔位符，那麼我們沒有地方餵養。謝謝！