batch-normalization

0熱度

1回答

我想在Tensorflow中建立一個廣義的批量標準化函數。我在這個article學習批量標準化，我發現很親切。我與規模和的β變量的尺寸的問題：在我的情況下批標準化被施加到每個卷積層的每個激活，因此，如果我有作爲卷積層一個的輸出與尺寸tersor： [57,57,96] 我需要規模和測試具有相同的尺寸卷積層輸出，是否正確？這裏是我的功能，該程序的作品，但我不知道是否是正確的 def bat

4熱度

2回答

與BatchNormalization圖層相關的參數數量是多少？

我有以下代碼。 x = keras.layers.Input(batch_shape = (None, 4096)) hidden = keras.layers.Dense(512, activation = 'relu')(x) hidden = keras.layers.BatchNormalization()(hidden) hidden = keras.layers.Dropout(

0熱度

1回答

張量流中是否沒有精確實現批量歸一化，爲什麼？

什麼，正是由於批標準化的推斷階段做的是規範，人口每一層的意思，估計總體方差但似乎每tensorflow實現（包括this one和官方tensorflow implementation）用途（指數）移動平均數和方差。請原諒我，但我不明白爲什麼。是否因爲使用移動平均數對性能而言更好？或者爲了純粹的計算速度？ Refercence：the original paper爲樣本均值

0熱度

1回答

Tensorflow中的體積批量標準化

Torch在linknn.VolumetricBatchNormalization中提供的體積批量標準化的張量等效量是多少？我目前正在使用： output = tf.contrib.layers.batch_norm(input, is_training=phase_train) 這是使用了尺寸(batch_size,height,width,depth,channels)輸入的正確方法是什

0熱度

2回答

恢復Tensorflow模型：找不到伽馬/規模在檢查點文件

batch_norm層我能還原權，偏見和batch_norm層從檢查點文件的模型和提取參數。但是，對於多個檢查點文件（初始模型等），我無法找到BN層的縮放/伽瑪因子。例如，在公共inceptionV3檢查站，我可以找到： InceptionV3/Mixed_5d/Branch_2/Conv2d_0a_1x1/BatchNorm/moving_mean (DT_FLOAT) [64] Incep

2熱度

2回答

Keras BatchNorm：訓練準確性提高，而測試準確性降低

我想在Keras中使用BatchNorm。培訓準確性隨着時間的推移而增加從12％到20％，緩慢但確定。然而，測試精度從12％降至0％。隨機基線是12％。我非常認爲這是由於蝙蝠科層（剔除蝙蝠科層導致測試精度爲〜12％），這可能不會初始化伽馬和β參數。在應用蝙蝠chnorm時，我必須考慮什麼特別的東西？我真的不明白還有什麼可能會出錯的。我有以下模式：模型=順序（） model.add(Batch

3熱度

1回答

列車Keras模型與張量流BatchNorm層

我使用keras建立一個模型，並編寫優化代碼和所有其他在tensorflow。當我使用相當簡單的圖層，如密集或Conv2D，一切都很簡單。但是將BatchNormalization圖層添加到我的keras模型中會使問題變得複雜。在我feed_dict真：由於BatchNormalization層在訓練階段和測試階段表現不同，我想通了，我需要K.learning_phase（）。但以下代碼運行不正

10熱度

1回答

tf.layers.batch_normalization大測試錯誤

我正在嘗試使用批規範化。我試圖在mnist的簡單轉換網上使用tf.layers.batch_normalization。我對列車步驟（> 98％）的準確性很高，但測試準確性很低（< 50％）。我試圖改變動量值（我嘗試了0.8,0.9,0.99,0.999），並嘗試使用批量大小，但它的行爲方式基本相同。我訓練它在20k迭代。我的代碼 # Input placeholders x = tf.pl