SyntaxNet處理大量句子，GPU是否提高性能？

Question

我的原始文本中有大量的句子數據集（即〜5.000.000），我想使用已經訓練過英語的SyntaxNet進行處理。也就是說，我只是想用SyntaxNet模型來處理句子，我不想訓練任何新模型。

使用GPU設置處理環境會對性能產生什麼影響？

據我所知，大多數繁重的CPU操作是在估計網絡/模型的參數和權重時，一旦估計出來，應用訓練好的網絡應該比訓練快。儘管如此，我從未與Tensorflow合作過，也不知道在將已經訓練好的模型應用於數據時是否使用了GPU。

另外，有沒有人知道任何簡單的方法來設置SyntaxNet作爲守護進程或Web服務，以便批處理可以很容易地？

Answer 1

你仍然需要在圖上做很多張量操作來預測一些東西。因此，GPU仍然提供了推理的性能改進。看看這個nvidia paper，他們沒有測試他們對TF的東西，但它仍然是相關的：

我們的研究結果表明，GPU擁有先進設備，最先進的推論 性能和能效，使他們對於任何想要在現場部署經過訓練的神經網絡的人來說，選擇平臺 。特別是，Titan X的性能比16核Xeon E5 CPU高出5.3至6.7倍，同時實現了3.6至4.4 倍的高能效。

關於如何部署模型，看看TF serving