正則化

L1ノルム、L2ノルム、保持などの正則化技法により、過剰適合を防ぎ、モデルの一般化を改善します。

正則化とは、不良設定問題の解決や過学習の防止のために追加情報を導入するプロセスのことです。不良設定や過学習は、統計モデルが基になるリレーションシップではなく確率的誤差やノイズを示すときに発生する可能性があります。一般的な正則化技法には、L1ノルム正則化、L2ノルム正則化、除外などがあります。

通常、除外は大規模なトレーニング・データセットに使用されるのに対し、L1ノルム正則化とL2ノルム正則化は主に小規模なトレーニング・データセットに使用されます。