張量流中tf.clip_by_average_norm和tf.clip_by_norm之間的差異

Question

我並不完全確定兩個梯度限幅運算符clip_by_average_norm和clip_by_norm之間的差異。從文檔看來，區別似乎是clip_by_norm使用l2norm而不是l2norm_avg。

我明白漸變的L2範數是什麼，但「平均L2範數」也對應於什麼？

文檔參考

• clip_by_norm
• clip_by_average_norm

Answer 1

的文檔是有點曖昧，從test和impl，似乎avg_norm是norm/len(vector)

def testClipByAverageNormClipped(self): 
    # Norm clipping when average clip_norm < 0.83333333 
    with self.test_session(): 
     x = tf.constant([-3.0, 0.0, 0.0, 4.0, 0.0, 0.0], shape=[2, 3]) 
     # Average norm of x = sqrt(3^2 + 4^2)/6 = 0.83333333