訓練神經網絡中最基本的三個概念Epoch,Batch
來源：網絡
作者：admin
更新時間：2022-07-16
點擊數：
今天讓我們來總結下訓練神經網絡中最最基礎的三個概念：Epoch, Batch, Iteration。
名詞解釋
2. 換算關系
實際上，梯度下降的幾種方式的根本區別就在于上面公式中的 Batch Size不同。
*注：上表中 Mini-Batch 的 Batch 個數為 N / B + 1 是針對未整除的情況。整除則是 N / B。
3. 示例
CIFAR10 數據集有 50000 張訓練圖片，10000 張測試圖片?，F在選擇 Batch Size = 256 對模型進行訓練。
每個 Epoch 要訓練的圖片數量： 
訓練集具有的 Batch 個數： 
每個 Epoch 需要完成的 Batch 個數： 
每個 Epoch 具有的 Iteration 個數： 每個 Epoch 中發生模型權重更新的次數： 訓練 
代后，模型權重更新的次數： 
不同代的訓練，其實用的是同一個訓練集的數據。第 
代和第 代雖然用的都是訓練集的五萬張圖片，但是對模型的權重更新值卻是完全不同的。因為不同代的模型處于代價函數空間上的不同位置，模型的訓練代越靠后，越接近谷底，其代價越小。
