在推理服務中使用tf.Session時它是否是線程安全的？

Question

現在我們已經使用TensorFlow來訓練和導出模型。我們可以用這個模型來實現推理服務，就像tensorflow/serving一樣。

我有一個關於tf.Session對象是否線程安全的問題。如果是這樣，我們可以在啓動後初始化對象並使用單例對象來處理併發請求。

Answer 1

tf.Session對象對於來自多個線程的調用Session.run()是線程安全的。

之前TensorFlow 0.10圖形修改不是線程安全的。這已在0.10版本中得到修復，因此您可以與Session.run()調用同時向節點添加節點，但出於性能原因不建議這樣做;相反，建議在使用來自多個線程的會話之前調用sess.graph.finalize()，以防止意外的內存泄漏。