Uitleg
Recurrent Neural Networks (RNNs) verwerken sequenties (tekst, tijd-series) door interne loops te gebruiken. In tegenstelling tot feedforward netwerken hebben RNNs "geheugen" van vorige inputs via verborgen states.
RNNs passen dezelfde transformatie herhaaldelijk toe op sequentiële inputs. Dit maakt ze natuurlijk voor sequenties met variabele lengte. Maar standaard RNNs lijden aan vanishing gradient problem bij lange sequenties.
LSTMs (long short-term memory) en GRUs (gated recurrent units) lossen dit op met gates die bepalen wat geheugen behouden of verwijderd wordt. Moderne sequentieverwerking gebruikt vooral transformers, maar RNNs blijven belangrijk.
⚡ Voorbeelden
- •Taalmodellering: RNNs voorspellen volgende woord gegeven vorige woorden
- •Machine translation: RNNs vertalen sequenties van taal A naar B
- •Speech recognition: RNNs verwerken audiosequenties voor transcriptie
Trefwoorden
sequentieverwerkinggeheugenfeedback-lagentime-series