softmax

    1熱度

    1回答

    在train/val數據集中acc增加時，神經網絡損耗開始增加

    過去幾天我一直在調試NN，但是我找不到問題。 我創建了用於識別MNIST數據集圖像的多層感知器的總原始實現。 網絡似乎學習，因爲列車循環後測試數據的準確性高於94％的準確性。我有損失功能的問題 - 一段時間後開始增加，當測試/ val精度達到〜76％時。 有人可以檢查我的前進/後退數學，並告訴我，如果我的損失功能是否正確實施，或建議什麼可能是錯誤的？ NN結構： 輸入層：758個節點，（每像素1個
    python neural-network softmax cross-entropy 2017-06-27

    0熱度

    1回答

    Argmax在Tensorflow張量和天花板

    假設我有Tensorflow張量，其值是這樣的： A = [[0.7, 0.2, 0.1],[0.1, 0.4, 0.5]] 我怎樣才能改變此張成以下： B = [[1, 0, 0],[0, 0, 1]] 在其他單詞我想只保留最大值並用1代替。 任何幫助，將不勝感激。
    tensorflow neural-network keras softmax argmax 2017-06-29

    0熱度

    1回答

    如何將softmax應用於TensorFlow中具有巨大正值和負值的數組/矢量？

    我使用TensorFlow中的MNIST數據集訓練卷積神經網絡（CNN）。我從MNIST測試圖像計算每幅圖像的準確度並查找十個輸出節點的值。我用下面的代碼行得到它（在這裏看到的所有代碼：How to get the value from each output-node during eval MNIST testdata in TensorFlow?）： pred=prediction.eval
    python tensorflow softmax 2017-07-03

    1熱度

    2回答

    在Python中從頭開始計算雅可比矩陣

    我試圖實現softmax函數（Softmax的雅可比矩陣）的導數矩陣。 我數學知道使用SoftMax（XI）的衍生物相對於X 1是： 其中紅色增量是Kronecker符號。 到目前爲止，我所實行的是： def softmax_grad(s): # input s is softmax value of the original input x. Its shape is (1,n)
    python numpy deep-learning derivative softmax 2017-08-29

    1熱度

    2回答

    爲什麼softmax功能必需？爲什麼不簡單歸一化？

    我不熟悉深度學習，所以這可能是一個初學者的問題。 在我的理解中，多層感知器中的softmax函數負責每個類的規範化和分佈概率。 如果是這樣，爲什麼我們不使用簡單的標準化？ 比方說，我們得到一個向量x = (10 3 2 1) 應用softmax，輸出將是y = (0.9986 0.0009 0.0003 0.0001)。 應用簡單歸一化（將每個元素除以sum(16)） 輸出將爲y = (0.625
    neural-network deep-learning softmax 2017-08-30

    1熱度

    1回答

    用softmax Keras加固培訓

    我正在進行的一個項目有一個使用REINFORCE算法的強化學習階段。使用的模型具有最終的softmax激活層，並且因爲負面的學習率被用作負面獎勵的替代品。我對這個過程有些懷疑，並且找不到有關使用負面學習率的文獻。 是否通過切換正向和負向學習率來重新學習學習工作？如果不是什麼會更好的辦法，擺脫softmax或keras一個很好的選擇呢？ 損失函數： def log_loss(y_true, y_pr
    keras reinforcement-learning softmax 2017-07-12

    -1熱度

    1回答

    如何在3d數組中使用argmax tensorflow函數？

    我想知道如何在3D數組中使用tf.argmax。 我輸入的數據是這樣的： [[[0, -1, 5, 2, 1], [2, 2, 3, 2, 5], [6, 1, 2, 4, -1]], [[-1, -2, 3, 2, 1], [0, 3, 2, 7, -1], [-1, 5, 2, 1, 3]]] 而且我想通過這樣的該輸入數據得到argmax的輸出： [[2, 4, 0], [2, 3, 1
    python tensorflow softmax argmax 2017-09-01

    1熱度

    1回答

    神經網絡 - 跨添加Softmax熵損失減小對應於精度的降低

    我一直在訓練神經網絡並使用Tensorflow。 我的成本函數爲： cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=prediction, labels=y)) 訓練我的神經網絡已經引起了交叉熵損失從170K〜降低到50左右，一個顯着的改善。同時，我的準確性實際上已經變得更差了：從3％到2.9％。這些測試
    machine-learning tensorflow neural-network softmax 2017-07-19

    1熱度

    1回答

    分層輸出層中的單元數Softmax

    在word2vec中，有3層：輸入層，隱藏層和輸出層。 如果我們使用傳統的softmax方法， 對於大小爲V的語料庫，輸出層的單元數也將是V（單熱矢量輸入）。 如果我們使用Hierarchical Softmax， 文章說只有V-1節點（在Huffman二叉樹中）。 這是否意味着在這種情況下輸出層只有V-1單元？ 這裏是我閱讀參考： https://arxiv.org/pdf/1411.2738.
    neural-network word2vec hierarchical softmax 2017-07-19

    1熱度

    1回答

    Tensorflow：加權稀疏SOFTMAX與交叉熵損失

    我使用完全卷積神經網絡（鏈接到紙）做圖像分割：https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf 這可以被認爲是像素分類（用於最終的每個像素獲得一個標籤） 我正在使用tf.nn.sparse_softmax_cross_entropy_with_logits丟失函數。 loss = tf.reduce_mean((tf.
    python tensorflow deep-learning softmax cross-entropy 2017-07-20
最新問題