Uitleg
Seq2Seq (Sequence-to-Sequence) is een neurale netwerkarchitectuur die invoersequenties naar uitvoersequenties transformeert. Het bestaat uit twee delen: een encoder die de invoer verwerkt en een decoder die de uitvoer genereert.
Deze architectuur was revolutionair voor taken waar input en output verschillende lengtes hebben, zoals machine translation (vertalingen kunnen korter of langer zijn dan origineel), samenvatting en vraag-antwoord systemen.
Seq2Seq legde de basis voor transformers, die het verder verbeterden met attention-mechanismen. Hoewel transformers Seq2Seq hebben vervangen voor veel toepassingen, blijft het concept fundamenteel voor het begrijpen van hoe moderne taalmodellen werken.
⚡ Voorbeelden
- •Seq2Seq-modellen voerden baanbrekend werk in machinetranslatie uit voordat transformers dit overnamen
- •Vraag-antwoord systemen gebruiken Seq2Seq-architectuur: de vraag is de invoersequentie, het antwoord de uitvoersequentie
- •Samenvatting van documenten gebruikt Seq2Seq waar het lange document ingaat en korte samenvatting uitkomt
Trefwoorden
encoder-decoderarchitectuursequence-learningneurale-netwerken