Uitleg
Schaalbaarheid in AI verwijst naar de hypothese dat grotere modellen, getraind op meer data met meer compute, beter presteren. Dit staat bekend als "schaalwetten".
Empirysch gezien, volgen veel moderne AI-modellen voorspelbare schaalwetten: verdubbeling van modelgrootte verbetert prestaties voorspelbaar. Dit heeft geleid tot een race om steeds grotere modellen te trainen.
Schaalbaarheid is een kernprincipe achter het succes van moderne AI, maar het stelt ook grenzen: rekenresources zijn eindig.
⚡ Voorbeelden
- •GPT-3 (175B parameters) presteerde beter dan GPT-2 (1.5B) bijna in elke taak
- •Chinchilla schaalwetten suggereren dat compute-optimale modellen veel trainingsdata nodig hebben
- •Bedrijven investeren miljarden in compute-infrastructuur voor schaling
Trefwoorden
model-groottetraining-computelaw-of-scalingprestatie-verbetering