Uitleg
Regularisatie voegt een penalty-term toe aan de loss-functie om overfitting tegen te gaan. Het zorgt ervoor dat modellen niet te goed aan trainingsdata worden aangepast maar eerder generaliseren naar onziene data.
De twee meest voorkomende regularisatie-methoden zijn L1 (lasso) en L2 (ridge). L1 dwingt sommige gewichten naar nul (feature selection). L2 houdt gewichten klein maar meestal niet nul. Elastic Net combineert beide. Dropout en early stopping zijn andere regularisatie-technieken.
Regularisatie is essentieel voor machine learning omdat overfitting universeel probleem is. Te veel regularisatie leidt tot underfitting; te weinig tot overfitting. De regularisatie-sterkte moet getuned worden.
⚡ Voorbeelden
- •L2 regularisatie straft grote gewichten af, wat leidt tot eenvoudigere, generaliserbare modellen
- •L1 regularisatie dwingt irrelevante gewichten naar nul, achtergelaten slechts belangrijke features
- •Dropout in neurale netwerken "schakelt willekeurig neuronen uit" om co-adaptation te voorkomen
Trefwoorden
overfitting-preventiepenalty-termlambda-parametermodel-eenvoud