輸入和輸出之間的相關性

Question

作爲大學工作的一部分，我必須實施一個訓練程序，該程序基本上是根據給定層的輸入和輸出之間的相對誤差度量逐層訓練MLP。

我已經成功地發現了一些與https://github.com/pdoren/DeepEnsemble/blob/master/deepensemble/utils/utils_functions.py#L238-L264和https://github.com/pdoren/DeepEnsemble/blob/master/deepensemble/utils/cost_functions.py#L210-L237中的correntropy相關的代碼。但是，如果樣本具有相同的大小，則只能使用此代碼。

所以，我的問題是：如何計算Theano中MLP圖層的輸入和輸出之間的相關性？

Answer 1

（1）Correntropy與交叉熵不同。它具有MSE或本地交叉的理想屬性，但在全球範圍內具有L1/0屬性，以根據它們的距離按比例調整異常值。 （2）後續提問者是正確的，你沒有計算出輸入到輸出的錯誤度量，而是輸出到實際（距離實際的預測有多遠）。

Keras允許創建您自己的目標函數/距離度量。我還沒有實現這些還沒有，但發現這些的時候我去尋找代碼中使用correntropy爲目標函數在keras：

https://github.com/EderSantana/seya/blob/master/seya/regularizers.py

https://github.com/EderSantana/seya/blob/master/seya/objectives.py