Tensorflow優化乘法然後添加

Question

它是線性代數共同優化的乘法然後通過附加僞恆定尺寸的輸入，那麼整個變成單個乘法（Wx + b => W'x'）添加公共的操作。

有沒有在Tensorflow這樣做任何好處，還是會優化該反正（例如tf.matmul(...) + b與tf.matmul(...)）

Answer 1

是你所談論的不是增加速度，減少了內存的優化。這只是縮短數學表達式的一種方法。

• 存在內存中，因爲不是有b你只是在前面加上/與b同樣大小的列追加你的矩陣向量沒有減少。
• 即使您不會計算將列矩陣W附加/前加到矩陣W所需的操作次數，矩陣乘法將執行更多操作。您交易添加n元素b_i如果您只是添加一個向量來添加n元素計算爲c_i * x_i。

在TF中這樣做沒有好處（在速度/記憶方面），並且不，TF本身並不優化它。

如果你更容易閱讀和理解那裏正在發生的事情，你可以自由地以這種方式寫。