bias-neuron

    0熱度

    2回答

    我想要開始使用神經網絡並實現像AND/OR這樣的布爾函數。 而不是使用0和1作爲二進制輸入,它們使用-1和+1。我們爲什麼不能使用(0,1)是否有原因? 舉例:http://www.youtube.com/watch?v=Ih5Mr93E-2c

    1熱度

    1回答

    是否應該將動量也添加到網絡中每個節點的偏置項,或者最好只添加到權重上?

    2熱度

    1回答

    我已經閱讀了一些關於此問題的其他問題(以及相關答案),但我仍然有疑問:將閾值激活函數添加一個偏差會改變閾值嗎?據我所知,增加一個偏差應該沿x軸移動激活函數,所以它也應該改變閾值。假設我們只有一個輸入節點和一個輸出節點,並且輸入節點具有閾值激活函數,並且閾值設置爲0.現在,如果我們給出1作爲輸入,則神經元將激活並返回1 * weight到輸出節點,但如果我們添加一個權重爲2的偏置節點a_0 = -1

    0熱度

    1回答

    我正在建立一個前饋神經網絡,並且我正在試圖決定如何實施偏差。我不知道兩兩件事: 1)是否有任何缺點實施偏置爲節點的特徵,而不是一個虛擬輸入+的重量? 2)如果我把它作爲一個虛擬輸入來實現,它會在第一層輸入(從輸入到隱藏層),還是我需要在每一層都有一個虛擬輸入? 謝謝! P.S.我目前使用二維數組來表示層之間的權重。任何其他實現結構的想法?這不是我的主要問題,只是尋找食物。

    2熱度

    2回答

    我正在運行Lasagne和Theano來創建我的卷積神經網絡。我目前由 l_shape = lasagne.layers.ReshapeLayer(l_in, (-1, 3,130, 130)) l_conv1 = lasagne.layers.Conv2DLayer(l_shape, num_filters=32, filter_size=3, pad=1) l_conv1_1 = lasa

    3熱度

    1回答

    我想弄清楚,如果我正在創建一個人工神經網絡使用乙狀結腸激活功能和正確使用偏見。我想要一個偏置節點輸入到靜態輸出-1與其權重相結合的所有隱藏節點,然後一個輸出到靜態輸出-1與其權重組合。然後,我可以像訓練其他神經元一樣訓練這些偏見,對嗎?!

    1熱度

    1回答

    我目前在tensorflow中建立一個CNN,我正在使用He正常權重初始化初始化我的權重矩陣。但是,我不確定我應該如何初始化我的偏見值。我將ReLU用作每個卷積層之間的激活函數。是否有標準的方法來初始化偏差值? # Define approximate xavier weight initialization (with RelU correction described by He) def

    0熱度

    1回答

    我學習人工神經網絡,我做了兩個腳本(在fortran90和Python)爲簡單的二元分類問題。 我第一次沒有偏見,我收斂良好。但是爲每個節點添加一個偏差它不再收斂(或者一切接近0或者接近1的所有節點) 偏差爲1,並且對於每個節點具有特定的權重。它是隨機初始化的,然後更新添加delta等其他權重。我試圖改變梯度步長,但它仍然在做同樣的事情。 有人做過任何線索.... EDIT: 網絡: IN

    -5熱度

    1回答

    我對神經網絡非常陌生,只有很少的程序員。我沒有牢牢掌握不同的神經網絡架構。我的問題是:什麼是最聰明的架構?哪個網絡是最快的學習,可以識別最複雜和最模糊的模式,並且是最適合的。我一直在閱讀各種各樣酷的網絡,例如回聲狀態和液態狀態機器以及長期的短期記憶網絡,但我真的不知道這些網絡是如何工作的或在什麼情況下使用的。如果你知道這些瘋狂的網絡如何工作,我想聽聽你的想法。 謝謝!

    0熱度

    1回答

    我實現了具有梯度下降的神經網絡的偏倚單位。但我不是100%確定如果我已經以正確的方式實施它。如果你可以快速查看我的代碼,那麼將是空曠的。只有 如果偏置部分: 是很重要的。 而我的第二個問題: 不應該softmax函數的導數爲1-x,因爲x是softmax函數的輸出嗎? 我用1-x試過了我的網,但其性能更差。 每一個幫助表示讚賞。 在此先感謝。 import numpy as np import