估計張量流模型的內存需求

Question

如何估計我的張量流模型的內存需求？下面是否應該提供一些準確的表述？

size = 0 
for variable in tf.all_variables(): 
    size += int(np.prod(variable.get_shape())) 

print(size) 

size應該是變量的個數。應該size * dtype然後是內存需求的估計？

Answer 1

不，你也必須考慮你的其他張量（例如tf.placeholder和tf.constant），你也應該有梯度的空間，因爲我相信在正向傳遞期間緩存了一堆值，所以backprop不會' t變得太慢。