backpropagation

    0熱度

    1回答

    我正在爲相同的數據集實施各種反向傳播算法,並試圖比較性能。我從下面的教程中獲得了相同的幫助。 https://nl.mathworks.com/help/nnet/ug/choose-a-multilayer-neural-network-training-function.html 我試圖繪製: 均方誤差與執行時間爲每個算法 收斂與均方誤差收斂目標,爲每個算法 需要時間 已經使用了下面的代碼,來

    0熱度

    2回答

    我有一個正常的前饋網絡,產生一個矢量v。v的元素然後被用作稀疏矩陣M的非零條目(假設座標是預定義的)。稀疏矩陣然後乘以一個密集向量,並在結果標量上定義一個損失。我想反向傳播損失w.r.t.網絡的權重,這需要通過稀疏矩陣。 這似乎是一個完全合理的用例的稀疏矩陣,但現在看來,這樣的功能是不支持的。事實上,即使調用tf.gradients(男,[V])產生一個錯誤: AttributeError: 'S

    11熱度

    1回答

    TLDR 我一直在努力,以適應MNIST一個簡單的神經網絡,它適用於小的調試安裝,但是當我把它交給MNIST的一個子集,它培養超級快並且梯度非常快地接近0,但是然後它對於任何給定輸入輸出相同的值,並且最終成本相當高。我一直試圖有目的地過度裝備,以確保它實際上正在工作,但它不會在MNIST上這樣做,暗示設置中存在深層問題。我已經使用漸變檢查檢查了我的反向傳播實現,它似乎匹配了,所以不知道錯誤在哪裏,

    0熱度

    2回答

    有沒有在Tensorflow上使用彈性傳播的方法?我知道有一些反向傳播策略。有沒有接近rPorp的?我可以插入我自己的彈性傳播實現嗎?

    1熱度

    1回答

    假設我們有訓練的神經網絡.... 我的問題是將相同的神經網絡產生的數據回來,如果我們應用什麼以前是輸出在目前的輸入? 我正在研究MNIST數據集,並想知道如果我們使用反向傳播算法從輸出端訓練我們的網絡(使用最終輸出作爲來自該端的輸入)將會發生什麼。 這可能是一個很普通,但我仍然需要一些幫助來自社會 我的想法說,它可以取回數據(或近似原始數據集)... 可以證明是合理的嗎?

    0熱度

    1回答

    所以我想在c#中實現反向傳播神經網絡。我遇到了一個呃逆。當訓練網絡,所有的輸出或者是0.49 ??? ...或0.51 ??? ... 這裏是我的網絡類 namespace BackPropNetwork { public class Network { public double[][] Values { get; set; } public double[][] De

    2熱度

    1回答

    我想在python中使用Keras創建一個神經網絡,使用自定義丟失,並且我正在遊蕩是否有一個sigmoid函數作爲最後一層中的激活函數,並且在自定義丟失的開始處有一個sigmoid是相同的不。因此,這裏是我的意思了: 我有第二個模型中的損失計算的感覺,但它不通過乙狀結腸同時它是第一款車型回傳播。是對的嗎?

    -1熱度

    1回答

    所以,我有一個能夠執行向前傳播的多層神經網絡,它應該能夠執行向後傳播,但我找不到任何資源解釋它是如何工作。似乎所有有關後向傳播如何工作的資源都是特定於網絡的,或者很難理解。你能幫我找到有用的資源嗎?我的網絡是用Java編寫的,如果這有助於縮小資源。

    2熱度

    1回答

    再次感謝您花時間閱讀本文。 我知道這個問題已經被問了很多,我已經檢查了許多關於這個問題的帖子:不過,我對使用反向傳播的成功XOR學習的追求仍未完成。 我試着像建議的那樣,調整學習速度,動量,有/沒有偏見等,仍然沒有成功。 網絡包含2個輸入神經元,2個隱藏神經元,1個輸出,全部乙狀結腸。 對於每個輸入,輸出神經元似乎總是收斂在0.5左右。 因此,我要求您爲此事提供寶貴的技能。 我正在使用自制的C++

    3熱度

    1回答

    我是神經網絡的新手。我試圖編寫簡單的4-0-2 MLP並在實踐中學習反向傳播算法。但是我的反向傳播總是偏離,輸出總是[1,1]。我搜索了可能的原因,但是既沒有將學習率設置爲很小的數字(0.001),也沒有改變三角形權重的符號可以解決問題。 代碼反向傳播算法: def backward(self,trainingSamples): for i in range(len(trainingSa