Tensorflow生產者 - 在內存中加載完整數據集以避免磁盤瓶頸

Question

我使用Tensorflow的批量輸入管道，該管道使用tf.train.slice_input_producer並使用tf.train.shuffle_batch從中讀取批量。

問題是，對於簡單的模型，每個批次的完成速度比輸入生產者可以從磁盤讀取下一批次到隊列中快。磁盤沒有足夠的帶寬。但是，完整的數據集將適合內存。

有沒有一種方法可以修改Tensorflow生產者將完整的數據集讀入內存，而不是從磁盤流式傳輸？

Answer 1

我建議使用tf.train.start_queue_runners和tf.train.Coordinator設置隊列。詳細信息請參見here。