張量流中是否沒有精確實現批量歸一化，爲什麼？

Question

什麼，正是由於批標準化的推斷階段做的是規範，人口每一層的意思，估計總體方差

但似乎每tensorflow實現（包括this one和官方tensorflow implementation）用途（指數）移動平均數和方差。

請原諒我，但我不明白爲什麼。是否因爲使用移動平均數對性能而言更好？或者爲了純粹的計算速度？

Refercence：the original paper爲樣本均值

Answer 1

精確更新規則僅僅是一個指數平均具有等於逆樣本大小的步驟。因此，如果您知道樣本量，則可以將衰減因子設置爲1/n，其中n是樣本量。然而，衰減因子通常並不重要，因爲選擇非常接近於1，因爲具有這種衰減率的指數平均值仍然提供非常接近的均值和方差的近似值，特別是在大數據集上。