2016-06-15 52 views
4

我想在生產服務器上部署tensorflow。我預計約有200個併發用戶。我將使用解析器和我自己的一些神經網絡深度學習模型。我想知道相同的峯值內存和CPU使用率。Tensorflow要求

感謝您的幫助。

+4

TensorFlow的要求幾乎完全取決於您正在運行的特定模型。沒有這些模型的細節,就不可能猜測這些需求。 – mrry

回答

4

嘗試一個簡單的(但很變量)的猜測:

如果你深談學習,我推斷你至少3層以上,包括一些CNN和可能RNNs談。

如果您使用的是簡單的2D或3D輸入,但這是一個複雜的架構,可以放心地說您的瓶頸將在CPU上,因此需要在GPU上實現算法。

您還需要準備對任意數量的客戶端進行擴展,所以擴展機制從一開始就很有用。

此外,您還需要知道工作負載將如何處理,您是否需要實時服務,還是需要批處理隊列?這極大地改變了需求。

一旦你可以找出這個和其他細節,你可以改進你的估計。

最好的問候。

0

對於這取決於三個因素的存儲器:

  • 圖形大小
  • 批量大小爲圖表
  • 隊列大小與傳入請求

其中3個因素可能批量大小影響最大,因爲圖形的內存爲:圖形大小×批量大小

關於CPU我建議你使用圖形處理器的GPU。您可以進行一些測試,並計算每秒可以對圖形和選定批處理大小執行的推理次數。 Tensorflow的服務很好地處理併發性很好,你綁定將是圖形速度