Uitleg
Skip connections (residual connections) zijn directe paden die input van vroegere lagen omhoog sturen naar latere lagen, rond intervening-lagen heen. Dit is fundamenteel idee achter ResNets.
Skip connections helpen gradient-flow: durante backpropagation kan gradiënt rechtstreeks teruggaan zonder door veel lagen heen. Dit helpt vanishing gradient problem. Ze kunnen ook identiteits-mapping afdwingen en feature-reuse toestaan.
Skip connections melden diepe netwerken mogelijk: zonder ze werden netwerken met 100+ lagen slecter trainen dan ondiepe. Met skip connections trainen 152-layer ResNets beter dan 34-layer. Skip connections zijn nu universeel in modern deep learning.
⚡ Voorbeelden
- •ResNet gebruikt skip connections om 152 lagen effectief te trainen
- •Transformers hebben skip connections in their attention + FFN lagen
- •U-Net voor image segmentation gebruikt skip connections tussen encoder en decoder
Trefwoorden
residual-learninggradient-shortcutdiepe-architecturenverbinding-shortcut