loss/clone_0/softmax_cross_entropy_loss和loss/clone_0/aux_loss/value之間的差異

Question

inception-v4中loss/clone_0/softmax_cross_entropy_loss和losses/clone_0/aux_loss/value之間的差異是什麼？ 目前，我正在4個GPU（ - num_clones = 4）上使用tf-slim和inception-v4網絡來訓練大型模型。但這兩個圖表完全不同。在批量大小= 128的190K步驟後，我得到這些圖表：Losses

正如您在圖像中可以看到的總損失並具有類似的趨勢。但softmax_cross_entropy有一個完全不同的過程！ 這些損失中的哪一個可以更好地描述訓練過程？

Answer 1

你應該使用第一個，主要的。你可以閱讀有關輔助頭，其損失在這裏Does the Inception Model have two softmax outputs?

這aux_loss這裏定義：https://github.com/tensorflow/models/blob/4bd29ac0ba1004d7393b7d029b05257dffd5cbe6/inception/inception/inception_model.py#L135