CNTKTextFormatDeserializer的概念是什麼以及爲什麼使用？

Question

我正在使用CNTKTextReader讀取我的訓練和測試集。火車檔案越來越大（現在2.7 GB，不久將變得更大）。

我不明白什麼是「CNTKTextFormatDeserializer」 - 我發現的文檔沒有解釋什麼是大圖 - 它是什麼以及爲什麼使用它？我發現的文檔剛進入它的語法。

那麼，這是一種使用這些文件的二進制版本使其更加緊湊的方法嗎？

Answer 1

讀者通常只是使培訓的某些方面更容易的一種方法。這些措施包括

1. 隨機：SGD推廣更好，當提交給它的數據以隨機順序來。讀者可以隨機將數據隨機發生。
2. 分佈式培訓：對於分佈式培訓，讀者意識到多個工作人員，並可以確保他們收到不同的數據塊。
3. 內存預算問題：讀卡器不會將整個訓練文件加載到內存中。
4. 語言不可知的I/O：讀者提供了一種跨平臺的方式來讀取數據。 （如果你想永遠在Python中，你可能不關心這個，但其他人可以）。

CTF格式有點冗長，確實有最近添加的binary format deserializer。