Uitleg
Dropout is eenvoudige maar effectieve regularisatie-techniek voor neurale netwerken. Tijdens training worden willekeurig een fractie (bijv. 50%) van neuronen deactiveren met waarschijnlijkheid p. Dit voorkomt co-adaptatie van neuronen.
Dropout werkt als ensemble-training: elk forward-backward pass trainet ander sub-netwerk. Dit verhoogt variantie in training maar reduceert overfitting. Tijdens inference/testing worden alle neuronen gebruikt maar outputs geschaald.
Dropout is eenvoudig te implementeren, rekenintensief efficient, en zeer effectief. Het is nu standaard in deep learning. Dropout-rates van 0.2 tot 0.5 zijn typisch. Meer dropout = meer regularisatie maar risico van underfitting.
⚡ Voorbeelden
- •Deep neural netwerk voor classificatie gebruikt dropout=0.5 voor regularisatie
- •Recurrent layers gebruiken dropout om co-adaptation te voorkomen
- •Spatial dropout voor convolutional lagen dropt hele feature-maps
Trefwoorden
stochastische-reguleringensemble-effectco-adaptatie-preventietraining-techniek