TensorFlow交叉熵教程

Question

我剛剛通過TensorFlow教程（https://www.tensorflow.org/versions/r0.8/tutorials/mnist/pros/index.html#deep-mnist-for-experts）。

我對此兩個問題：

1. 爲什麼它使用cost function with y_ * log(y)？難道不是y_ * log(y) + (1-y_) * log(1-y)？

2. TensorFlow如何計算我使用cost function的gradient？我們不應該在某個地方告訴TensorFlow如何計算gradient？

謝謝！

Answer 1

1. 當y = 1或0，則可以使用Y_ *日誌（Y）+（1-Y_）*日誌（1-Y），但是當y是一個熱編碼，Y = [0 1]或[1 0]，我們使用y_ * log（y）。事實上，它們是一樣的。

2. 一切都是TensorFlow中的圖形，包括您的成本函數。

因此，每個節點都知道它們的操作和局部梯度。 Tensorflow使用反向傳播（鏈式規則）使用圖形計算漸變。