什麼是激活函數 (Activation Function)

什麼是激活函數 (Activation Function)？

激活函數 (Activation Function) 是神經網路中的一個關鍵組件，它位於神經元的輸出端。激活函數的作用是對神經元的輸入進行非線性轉換，並決定神經元是否應該被激活。換句話說，激活函數決定了神經元輸出的「強度」。

為什麼需要激活函數？

如果神經網路中沒有激活函數，那麼整個網路的輸出將僅僅是輸入的線性組合。這意味著無論網路有多少層，它都只能模擬線性關係。而現實世界中的許多問題都是非線性的，因此需要激活函數來引入非線性，使得神經網路能夠學習複雜的模式。

常見的激活函數

以下是一些常見的激活函數：

• Sigmoid： 將輸入轉換為 0 到 1 之間的輸出。Sigmoid 函數常用於二元分類問題。
• Tanh： 將輸入轉換為 -1 到 1 之間的輸出。Tanh 函數與 Sigmoid 函數類似，但具有更好的梯度特性。
• ReLU (Rectified Linear Unit)： 當輸入為正時，輸出等於輸入；當輸入為負時，輸出為 0。ReLU 函數是目前最常用的激活函數之一，因為它具有計算效率高和避免梯度消失的優點。
• Leaky ReLU： 與 ReLU 函數類似，但當輸入為負時，輸出為一個很小的正數，而不是 0。Leaky ReLU 函數可以解決 ReLU 函數的「死亡 ReLU」問題。
• Softmax： 將輸入轉換為概率分佈。Softmax 函數常用於多元分類問題。

如何選擇激活函數？

選擇哪種激活函數取決於具體的任務和網路架構。以下是一些選擇激活函數的建議：

• ReLU： 對於大多數情況，ReLU 是一個不錯的選擇。
• Sigmoid 或 Tanh： 如果需要輸出在 0 到 1 或 -1 到 1 之間，可以使用 Sigmoid 或 Tanh 函數。
• Softmax： 對於多元分類問題，可以使用 Softmax 函數。
• 嘗試不同的激活函數： 可以嘗試不同的激活函數，並根據驗證集的性能來選擇最佳的激活函數。

相關名詞

• 梯度消失 (Vanishing Gradient)
• 死亡 ReLU (Dying ReLU)
• 前饋神經網路 (Feedforward Neural Network)
• 卷積神經網路 (Convolutional Neural Network)
• 循環神經網路 (Recurrent Neural Network)