在張量流中應用自己的激活函數

Question

我正在使用tensorflow relu函數用於激活隱藏層的模型。所以基本上這個模型是這樣的

h = tf.nn.relu(zw) 

其中zw是來自上一層次權重輸出的所有元素。根據tensorflow的RELU的定義它會返回

max(zw,0) 

所以和0之間的最大數量爲張量的每個元件ZW的每個元素的值。

如何將我自己的relu函數應用於返回元素zw（如果它大於0且zw元素小於0時乘以0.1）？

Answer 1

你可以做這樣的事情：

H = tf.where（ZW < 0，0.1 * ZW，ZW）