如何確定神經網絡的層數和隱藏層神經元數量

一、導語

BP神經網絡主要由輸入層、隱藏層、輸出層構成，輸入和輸出層的節點數是固定的，不論是回歸還是分類任務，選擇合適的層數以及隱藏層節點數，在很大程度上都會影響神經網絡的性能。

圖源：吳恩達-深度學習

輸入層和輸出層的節點數量很容易得到。輸入層的神經元數量等于待處理數據中輸入變量的數量，輸出層的神經元的數量等于與每個輸入關聯的輸出的數量。但是真正的困難之處在于確定合適的隱藏層及其神經元的數量。

二、隱藏層的層數

如何確定隱藏層的層數是一個至關重要的問題。首先需要注意一點：

在神經網絡中，當且僅當數據非線性分離時才需要隱藏層！

Since a single sufficiently large hidden layer is adequate for approximation of most functions, why would anyone ever use more? One reason hangs on the words “sufficiently large”. Although a single hidden layer is optimal for some functions, there are others for which a single-hidden-layer-solution is very inefficient compared to solutions with more layers.——Neural Smithing: Supervised Learning in Feedforward Artificial Neural Networks, 1999

因此，對于一般簡單的數據集，一兩層隱藏層通常就足夠了。但對于涉及時間序列或計算機視覺的復雜數據集，則需要額外增加層數。單層神經網絡只能用于表示線性分離函數，也就是非常簡單的問題，比如分類問題中的兩個類可以用一條直線整齊地分開。

Specifically, the universal approximation theorem states that a feedforward network with a linear output layer and at least one hidden layer with any “squashing” activation function (such as the logistic sigmoid activation function) can approximate any Borel measurable function from one finite-dimensional space to another with any desired non-zero amount of error, provided that the network is given enough hidden units.——Deep learning, 2016

概括來說就是多個隱藏層可以用于擬合非線性函數。

隱藏層的層數與神經網絡的效果/用途，可以用如下表格概括：

圖源：

簡要概括一下——

沒有隱藏層：僅能夠表示線性可分函數或決策隱藏層數=1：可以擬合任何“包含從一個有限空間到另一個有限空間的連續映射”的函數隱藏層數=2：搭配適當的激活函數可以表示任意精度的任意決策邊界，并且可以擬合任何精度的任何平滑映射隱藏層數>2：多出來的隱藏層可以學習復雜的描述（某種自動特征工程）Empirically, greater depth does seem to result in better generalization for a wide variety of tasks. This suggests that using deep architectures does indeed express a useful prior over the space of functions the model learns.——Deep learning, 2016

層數越深，理論上擬合函數的能力增強，效果按理說會更好，但是實際上更深的層數可能會帶來過擬合的問題，同時也會增加訓練難度，使模型難以收斂。因此我的經驗是，在使用BP神經網絡時，最好可以參照已有的表現優異的模型，如果實在沒有，則根據上面的表格，從一兩層開始嘗試，盡量不要使用太多的層數。在CV、NLP等特殊領域，可以使用CNN、RNN、attention等特殊模型，不能不考慮實際而直接無腦堆砌多層神經網絡。嘗試遷移和微調已有的預訓練模型，能取得事半功倍的效果。

圖源：beginners-ask-how-many-hidden-layers-neurons-to-use-in-artificial-neural-networks

確定隱藏的神經元層的數量只是問題的一小部分。還需要確定這些隱藏層中的每一層包含多少個神經元。下面將介紹這個過程。

三、隱藏層中的神經元數量

在隱藏層中使用太少的神經元將導致欠擬合(underfitting)。相反，使用過多的神經元同樣會導致一些問題。首先，隱藏層中的神經元過多可能會導致過擬合(overfitting)。當神經網絡具有過多的節點（過多的信息處理能力）時，訓練集中包含的有限信息量不足以訓練隱藏層中的所有神經元，因此就會導致過擬合。即使訓練數據包含的信息量足夠，隱藏層中過多的神經元會增加訓練時間，從而難以達到預期的效果。顯然，選擇一個合適的隱藏層神經元數量是至關重要的。

圖源：吳恩達-深度學習

通常，對所有隱藏層使用相同數量的神經元就足夠了。對于某些數據集，擁有較大的第一層并在其后跟隨較小的層將導致更好的性能，因為第一層可以學習很多低階的特征，這些較低層的特征可以饋入后續層中，提取出較高階特征。

需要注意的是，與在每一層中添加更多的神經元相比，添加層層數將獲得更大的性能提升。因此，不要在一個隱藏層中加入過多的神經元。

對于如何確定神經元數量，有很多經驗之談。

stackoverflow上有大神給出了經驗公式以供參考：

其中： 是輸入層神經元個數；是輸出層神經元個數；是訓練集的樣本數；α 是可以自取的任意值變量，通常范圍可取 2-10。

還有另一種方法可供參考，神經元數量通?？梢杂梢幌聨讉€原則大致確定：

隱藏神經元的數量應在輸入層的大小和輸出層的大小之間。隱藏神經元的數量應為輸入層大小的2/3加上輸出層大小的2/3。隱藏神經元的數量應小于輸入層大小的兩倍。

總而言之，隱藏層神經元是最佳數量需要自己通過不斷試驗獲得，建議從一個較小數值比如1到5層和1到100個神經元開始，如果欠擬合然后慢慢添加更多的層和神經元，如果過擬合就減小層數和神經元。此外，在實際過程中還可以考慮引入Batch Normalization, Dropout, 正則化等降低過擬合的方法。

參考資料：

LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning."nature521.7553 (2015): 436-444.Heaton Research: The Number of Hidden LayersAhmed Gad, Beginners Ask “How Many Hidden Layers/Neurons to Use in Artificial Neural Networks?”Jason Brownlee, How to Configure the Number of Layers and Nodes in a Neural NetworkLavanya Shukla, Designing Your Neural Networks