Omezení velikosti gradientu

Gradient clipping in model training

Ořezávání gradientu omezuje velikost aktualizace, pokud vypočtený gradient překročí stanovenou mez.

Tato technika může zabránit nestabilním skokům během trénování a je užitečná například u hlubokých nebo rekurentních sítí. Hodnota meze ovlivňuje učení a přílišné omezení může zpomalit potřebné změny parametrů.