簡單Tensorflow CNN分割的測試集精度低

Question

我修改了https://www.tensorflow.org/get_started/mnist/pros/以將其作爲圖像分割而不是分類問題。輸入是60x60下采樣的MRI圖像（重塑爲[1,3600]），輸出是0到1範圍的分割（閾值爲0.5到二進制蒙版）。當我運行它時，我在訓練集中得到非常合理的分段和高骰子（0.99）。但是，測試集只能達到0.8的骰子。這聽起來像過度擬合，但該模型是非常簡單的：conv layer-max pool-conv layer-dropout-prediction。所以，只有3組權重和偏差，我不確定過度複雜性是問題。爲了正規化，我使用10％的退出率。我嘗試了50％的輟學率，以及L1規範正規化 - 這沒有什麼區別。我最初使用300個圖像作爲訓練集，184個作爲測試集。達到了740-740，這沒有什麼區別。測試集的骰子堅持0.8，幾乎完全一樣。當我假裝訓練數據是測試數據時，我得到的骰子幾乎相同（但不完全相同）。我會非常感謝你的建議。

W_conv1 = weight_variable([5, 5, 1, 32]) 
b_conv1 = bias_variable([32]) 
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1) 

# Pooling layer - downsamples by 2X. 
h_pool1 = max_pool_2x2(h_conv1) 

# Second convolutional layer -- maps 32 feature maps to 64. 
W_conv2 = weight_variable([5, 5, 32, 64]) 
b_conv2 = bias_variable([64]) 
h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2) 

# Second pooling layer. 
h_pool2 = max_pool_2x2(h_conv2) 

# Fully connected layer 1 -- after 2 round of downsampling, our 28x28 image 
# is down to 7x7x64 feature maps -- maps this to 1024 features. 
W_fc1 = weight_variable([15 * 15 * 64, 1024]) 
b_fc1 = bias_variable([1024]) 

h_pool2_flat = tf.reshape(h_pool2, [-1, 15*15*64]) 
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1) 

# Dropout - controls the complexity of the model, prevents co-adaptation of 
# features. 
keep_prob = tf.placeholder(tf.float32) 
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob) 

# Map the 1024 features to 10 classes, one for each digit 
W_fc2 = weight_variable([1024, 3600]) 
b_fc2 = bias_variable([3600]) 

y_conv = tf.matmul(h_fc1_drop, W_fc2) + b_fc2 

P.S：我的損失函數是tf.reduce_mean（tf.reduce_mean（tf.multiply（Y_-y_conv，Y_-y_conv）））的平均平方差，沒有明確骰子。

Answer 1

過度擬合的確如此：如果您想比較訓練樣本數量和參數數量，參數數量遠遠超過示例數量。但是，即使過度配合，我也不認爲骰子0.8是低的。

意見建議：你可能想知道完全卷積網絡（FCN）。