爲什麼這個tensorflow循環需要這麼多的內存？

Question

我有一個複雜的網絡的一個人爲的版本：

import tensorflow as tf 

a = tf.ones([1000]) 
b = tf.ones([1000]) 

for i in range(int(1e6)): 
    a = a * b 

我的直覺是，這應該需要很少的內存。只是初始數組分配的空間和一系列利用節點的命令並在每一步中覆蓋存儲在張量'a'中的內存。但內存使用增長相當迅速。

這裏發生了什麼，當我計算張量並覆蓋很多次時，如何減少內存使用量？

編輯：

由於雅羅斯拉夫的建議解決方案橫空出世使用while_loop以儘量減少對圖中的節點的數量要。這樣做效果很好，速度更快，所需內存更少，並且全部包含在圖表中。

import tensorflow as tf 

a = tf.ones([1000]) 
b = tf.ones([1000]) 

cond = lambda _i, _1, _2: tf.less(_i, int(1e6)) 
body = lambda _i, _a, _b: [tf.add(_i, 1), _a * _b, _b] 

i = tf.constant(0) 
output = tf.while_loop(cond, body, [i, a, b]) 

with tf.Session() as sess: 
    result = sess.run(output) 
    print(result) 

Answer 1

你a*b命令轉換爲tf.mul(a, b)，這相當於tf.mul(a, b, g=tf.get_default_graph())。此命令將Mul節點添加到當前的Graph對象，因此您正嘗試將100萬個Mul節點添加到當前圖形。這也是有問題的，因爲你不能序列化大於2GB的Graph對象，所以一旦你處理這麼大的圖，有一些檢查可能會失敗。

我建議閱讀Programming Models for Deep Learning MXNet人。 TensorFlow是其術語中的「象徵性」編程，您將它視爲必不可少的。

爲了得到你想要使用Python循環中，您可以構建乘法運算一次，反覆運行它的東西，用feed_dict養活更新

mul_op = a*b 
result = sess.run(a) 
for i in range(int(1e6)): 
    result = sess.run(mul_op, feed_dict={a: result}) 

爲了更高的效率，你可以使用tf.Variable對象和var.assign避免Python的< - > TensorFlow數據傳輸