Adam a AdamW

Adaptive Moment Estimation

Adam a AdamW jsou optimalizátory, které při trénování upravují parametry podle odhadů gradientu a jeho rozptylu.

AdamW odděluje úpravu vah od hlavního kroku optimalizace. V praxi se používá zejména u hlubokých sítí a jazykových modelů, výsledky však závisejí na nastavení učení.