Optimalizátor Adam a AdamW

Adam and AdamW optimizer

Adam a AdamW jsou optimalizační algoritmy, které upravují krok učení pro jednotlivé parametry modelu.

Při trénování využívají odhady gradientu a jeho druhého momentu, aby přizpůsobily aktualizace průběhu učení. AdamW odděluje úbytek vah od samotné aktualizace gradientem, což často usnadňuje regularizaci.