batch-normalization

1熱度

1回答

我有一個CNN，在我創建的數據集上學習得很好。我將批量標準化添加到此網絡以嘗試提高性能。但是，當我嘗試對單個圖像進行預測時，總是會得到相同的結果（無論圖像如何）。我認爲這是因爲我需要批量來實際進行批量標準化。那麼是否有可能使用BN對CNN進行單幅圖像預測？一旦我的網絡訓練完畢，我曾想過刪除BN層，是否要走？謝謝:)

0熱度

1回答

禁用Keras批處理標準化/標準化

我使用簡單的Keras模型進行系列預測。我給它的輸入在整個系列中進行歸一化。模型預測準確性在訓練期間似乎是正確的。但是，當我繪製model.predict()函數的輸出時，我可以看到輸出已經以某種方式縮放。這似乎是某種標準化/標準化縮放類型。更改培訓中的批量大小會影響結果。我嘗試將批處理大小設置爲輸入集的大小，以便整個系列的訓練在單個批處理中完成，這樣可以提高結果，但仍會縮放。我的假設是這

2熱度

1回答

如何在Keras的測試時間內使用批量標準化？

我目前正在嘗試在Keras中使用mbatch-normalization實現一個模型。我已經成功實施了培訓階段。但是，對於測試，批量歸一化計算整個人口的統計量（均值和方差），然後進行網絡前向傳遞（BN均值和方差是預先計算的，然後保持靜態;這是與培訓階段相反，其中平均值和方差由批次確定）。我就Keras的問題是：假設（X，Y）是全部人口。假設（X_batch，y_batch）是一個批處理（即

0熱度

1回答

沒有工作當Matconvnet中的Batchnormalization = false爲true時批處理標準化

我正在使用matconvnet庫。在MNIST示例中，默認參數batchnormalization = true。但VL_NNBNORM（）函數沒有任何內容（只是註釋行）。這是否正在工作？或者我必須更改vl_nnbnorm功能？我的意思是，如果我將batchnormalization = false更改爲true，是否足夠？謝謝..

2熱度

1回答

使用SELU批量歸一化和自身歸一化神經網絡之間的區別

我想知道批量歸一化和自我歸一化神經網絡的區別。換句話說，SELU（標度指數線性單位）會取代批次標準化，以及如何？此外，我查看了SELU激活的值後，他們的範圍是：[-1, 1]。雖然批量標準化並非如此。相反，BN圖層（relu激活之前）的值取值爲[-a, a]大約，而不是[-1, 1]。這裏是我的激活九色鹿後和批次規範層之後印刷的值： batch_norm_layer = tf.Print(ba

1熱度

1回答

TypeError：不兼容的可廣播尺寸。預計（假），得到（真）

我正在與theano和烤寬麪條。我想使用BatchNorm，我得到這個錯誤。有人能指導我，有什麼可能是錯的？或者，如果我可以得到具有這種不匹配的變量的名稱？謝謝！ EDIT1：我試圖做這樣的事情： inputTarget = lasagne.layers.InputLayer(shape=(1,2,32, 32, 32), input_var=T.concatenate([tX, tY],

0熱度

1回答

Keras的BatchNormalization層中的Moving_mean和Moving_Variance

我想從Tensorflow導出一組預先訓練的權重到Keras。問題在於，Tensorflow中的批處理規範化圖層僅將Beta和Gamma嵌入爲可訓練權重，而在Keras中，我們也具有Moving_mean和Moving_variance。我很困惑從哪裏獲得這些權重。

-1熱度

1回答

梯度在朱古力

所有我遇到問題時，我用來自Caffe批標準化使用批標準化時消失。這是我在train_val.prototxt中使用的代碼。 layer { name: "conv1" type: "Convolution" bottom: "conv0" top: "conv1" param { lr_mult: 1 deca

1熱度

1回答

有關使用keras進行batening規範的dnn層的理論問題

我有一些麻煩了解使用batchnormalization的DNN模型，在使用keras的詳細說明中。有人可以向我解釋我構建的這個模型中每一層的結構和內容嗎？ modelbatch = Sequential() modelbatch.add(Dense(512, input_dim=1120)) modelbatch.add(BatchNormalization()) modelbatch.a

1熱度

1回答

輸入等級爲4時使用哪種tensorflow批量規範代碼？

我使用slim.batch_norm從layers並試圖瞭解我的用例中的代碼流。它看起來像我決定是否使用_fused_batch_norm()的邏輯，或者在我的情況下，如果輸入等級爲2，基類將只使用_fused_batch_norm()。代碼描述聽起來像它應該在rank爲4時使用，而函數本身（_fused_batch_norm（））支持4級，但邏輯似乎阻止調用它。下面是代碼片段展示什麼，我指的是：