Tensorflow精度問題

Question

我寫過我的第一個Tensorflow程序（使用我自己的數據）。它運作良好，至少它不會崩潰！但是我得到的有線精度值是0還是1？

................................. 
the previous part of the code, is only about handeling csv file an getting Data in correct format/shapes 
...................................................... 
# Tensoflow 
x = tf.placeholder(tf.float32,[None,len(Training_Data[0])],name='Train_data')# each input has a 457 lenght 

y_ = tf.placeholder(tf.float32,[None, numberOFClasses],name='Labels')# 

#w = tf.Variable(tf.zeros([len(Training_Data[0]),numberOFClasses]),name='Weights') 
w = tf.Variable(tf.truncated_normal([len(Training_Data[0]),numberOFClasses],stddev=1./10),name='Weights') 

b = tf.Variable(tf.zeros([numberOFClasses]),name='Biases') 
model = tf.add(tf.matmul(x,w),b) 

y = tf.nn.softmax(model) 
cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y)) 
#cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1])) 
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy) 
sess = tf.Session() 
sess.run(tf.global_variables_initializer()) 

for j in range(len(train_data)): 
    if(np.shape(train_data) == (batchSize,numberOFClasses)): 
     sess.run(train_step,feed_dict={x:train_data[j],y_:np.reshape(train_labels[j],(batchSize,numberOFClasses)) }) 

correct_prediction = tf.equal(tf.arg_max(y,1),tf.arg_max(y_,1)) 
accuracy = tf.reduce_mean(tf.cast(correct_prediction,"float")) 

accuracy_vector= [] 
current_class =[] 
for i in range(len(Testing_Data)): 
    if(np.shape(Testing_Labels[i]) == (numberOFClasses,)): 
     accuracy_vector.append(sess.run(accuracy,feed_dict={x:np.reshape(Testing_Data[i],(1,457)),y_:np.reshape(Testing_Labels[i],(1,19))}))#,i)#,Test_Labels[i]) 
     current_class.append(int(Test_Raw[i][-1])) 

ploting的accuracy_vector提供以下：

[]

任何想法是什麼，我在這裏失蹤？

非常感謝任何提示！

Answer 1

你正在測試1號批次，所以無論預測是好的還是假的，所以你只能得到0或1精度：

accuracy_vector.append(sess.run(accuracy,feed_dict={x:np.reshape(Testing_Data[i],(1,457)),y_:np.reshape(Testing_Labels[i],(1,19))}))#,i)#,Test_Labels[i])

只需使用一個更大的批次大小： accuracy_vector.append(sess.run(accuracy,feed_dict={x:np.reshape(Testing_Data[i:i+batch_size],(batch_size,457)),y_:np.reshape(Testing_Labels[i:i+batch_size],(batch_size,19))}))

Answer 2

cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y)) 

tf.nn.softmax_cross_entropy_with_logits想要未縮放的logits。 來自文檔：

警告：由於此操作在內部對內部效率執行softmax操作，因此需要使用未縮放的logits。不要用softmax的輸出調用此操作，因爲它會產生不正確的結果。

這意味着行y = tf.nn.softmax(model)是錯誤的。

相反，你要非標度logits給該函數，即：

y = model 

而且，一旦你解決這個問題，如果網絡不能正常工作，請嘗試從0.01降低學習率大約1e-3或1e-4。 （我告訴你這一點，因爲1e-2通常是一個「高」的學習率）