什麼是過擬合 (Overfitting) 與欠擬合 (Underfitting)

什麼是過擬合 (Overfitting) 與欠擬合 (Underfitting)？

在機器學習中，模型訓練的目標是建立一個能夠準確預測新資料的模型。然而，模型可能會遇到兩種常見的問題：過擬合 (Overfitting) 和欠擬合 (Underfitting)。

• 過擬合 (Overfitting)： 模型過度學習了訓練資料的細節和噪音，導致模型在訓練資料上表現非常好，但在未見過的新資料上表現很差。過擬合的模型就像一個死記硬背的學生，只能回答他背誦過的問題，無法靈活應用知識。
• 欠擬合 (Underfitting)： 模型學習不足，無法捕捉訓練資料中的基本模式，導致模型在訓練資料和未見過的新資料上都表現很差。欠擬合的模型就像一個沒有認真學習的學生，對問題一知半解，無法做出正確的回答。

為什麼會發生過擬合和欠擬合？

過擬合通常發生在模型過於複雜，或者訓練資料量不足的情況下。模型會試圖擬合訓練資料中的每一個點，包括噪音，導致模型在新資料上的泛化能力下降。

欠擬合通常發生在模型過於簡單，或者特徵選擇不當的情況下。模型無法捕捉資料中的基本模式，導致模型在訓練資料和新資料上都表現很差。

如何避免過擬合和欠擬合？

以下是一些避免過擬合和欠擬合的常用方法：

• 增加訓練資料量： 更多的資料可以幫助模型學習更穩定的模式。
• 簡化模型： 減少模型的複雜度，例如減少神經網路的層數或節點數。
• 正則化 (Regularization)： 在損失函數中添加懲罰項，以限制模型的複雜度。
• 交叉驗證 (Cross-validation)： 使用交叉驗證來評估模型的泛化能力，並選擇最佳的模型參數。
• 特徵選擇 (Feature Selection)： 選擇最相關的特徵，去除不相關或冗餘的特徵。
• 早停法 (Early Stopping)： 在模型訓練過程中監控驗證集的性能，當驗證集性能開始下降時停止訓練。

實際使用情境

在建立任何機器學習模型時，都需要仔細評估模型是否存在過擬合或欠擬合的問題。例如，在訓練一個圖像分類模型時，如果模型在訓練集上的準確率很高，但在測試集上的準確率很低，則可能存在過擬合的問題。此時，可以嘗試增加訓練資料量、簡化模型或使用正則化等方法來改善模型的泛化能力。

相關名詞

• 泛化能力 (Generalization)
• 正則化 (Regularization)
• 交叉驗證 (Cross-validation)
• 偏差 (Bias)
• 方差 (Variance)