Akumulace gradientů

Gradient Accumulation

Akumulace gradientů sčítá příspěvky gradientů z několika menších dávek před aktualizací parametrů modelu.

Umožňuje napodobit větší efektivní dávku, když se nevejde do paměti grafické karty. Rozdíl proti běžnému trénování závisí také na normalizaci a nastavení optimalizátoru.