Deep Learning

Wiskundige functie die in neuronen bepaalt of ze "afvuren" en niet-lineariteit toevoegt aan neurale netwerken.

Mechanisme dat relevantie van verschillende input-onderdelen bepaalt voor het genereren van output.

Ongecontroleerd neuraal netwerk dat data comprimeert in latente representatie en weer decodeert.

Fundamenteel algoritme voor training neurale netwerken door gradiënten terug te propageren via lagen.

Techniek die input-distributie van lagen normaliseert voor snellere training en stabiliteit.

Gespecialiseerde neurale netwerk-architectuur voor afbeeldingsverwerking met convolutional lagen.

Regularisatie-techniek die willekeurig neuronen deactiveren tijdens training om overfitting te voorkomen.

Architectuur met twee delen: encoder verwerkt input in representatie, decoder genereert output ervan.

Generative Adversarial Network: twee netwerken die tegenstrijdig spelen - generator en discriminator.

Traineerbare parameters in neurale netwerken die bepalen sterkte van verbindingen tussen neuronen.

Uitdaging bij trainingen van diepe netwerken waar gradiënten verdwijnen of exploderen.

Gated Recurrent Unit: vereenvoudigd LSTM-variant met minder parameters maar vergelijkbare prestatie.

Long Short-Term Memory: speciaal type RNN dat long-term dependencies beter kan leren.

Mixture of Experts (MoE) is een modelarchitectuur waarbij slechts een deel van het netwerk actief is per invoer, wat het model efficiënter maakt.

Een computermodel geïnspireerd op biologische hersenen, bestaande uit lagen van verbonden neuronen.

De eenvoudigste vorm van neuraal netwerk met één neuron dat voor lineaire classificatie.

Neurale netwerk-architectuur met interne loops voor verwerking van sequenties met geheugen.

Residual Network: doorbraak CNN-architectuur met skip connections voor trainbare zeer diepe netwerken.

Direct verbinding tussen niet-opeenvolgende lagen die toestaat input rond lagen heen te gaan.

Modern neurale netwerk-architectuur gebaseerd op attention die staat van de kunst wordt voor NLP.

Laag van neuronen in neuraal netwerk tussen input en output die abstracte features leert.