全球步驟是什麼意思？

Question

我最近完成了Cloud ML Criteo tutorial，並在「小」數據集從分佈式訓練任務，最終的日誌消息之一（〜40M的例子）是：

Saving dict for global step 7520: accuracy = 0.78864, ...

什麼是「全球一步」是指這裏？我本來以爲是：

global step = (number of training examples * number of epochs)/batch size

但是訓練集大小爲40.8M，批量大小是30K，和曆元數爲5，所以這不會導致正確的答案：

(40.8M x 5)/30K = 6800

Answer 1

我想我現在明白這一點。儘管訓練集大小爲40.8M示例，但代碼中有一個line，它表示它是45M示例（我不知道爲什麼）。和

（45M×5）/ 30K = 7500

基本上相匹配的日誌信息。