Uitleg
Gewichten (weights) zijn traineerbare parameters in neurale netwerken die verbindingen tussen neuronen representeren. Elke verbinding heeft een gewicht dat bepaalt hoe sterk signaal wordt doorgegeven.
Gewichten worden initialiseerd (random of via speciale strategieën) en worden aangepast tijdens training via backpropagation en gradient descent. Het doel van training is gewichten te vinden die loss minimaliseren.
In grote modellen zijn miljarden gewichten. Grote taalmodellen hebben miljarden gewichten. Gewicht-optimalisatie is harde computationele taak. Transfer learning hergebruikt pre-trained gewichten voor sneller trainen op nieuwe taken.
⚡ Voorbeelden
- •Neuron combineert inputs als weighted sum: y = w1*x1 + w2*x2 + w3*x3 + b
- •Net pre-trained op ImageNet met geleerde gewichten versnelt training op ander dataset
- •Gewicht-decay (L2 regularisatie) straft grote gewichten af
Trefwoorden
parametersverbindingentraining-doelstellinggewicht-update