Mizející gradient

Vanishing gradient

Mizející gradient nastává, když se při zpětném šíření informace o chybě výrazně zmenšuje a rané vrstvy se téměř neučí.

Problém se objevuje zejména u některých hlubokých sítí a dlouhých posloupností. Architektura, aktivační funkce a normalizace mohou jeho dopad omezit.