Normalizace vrstev

Layer normalization

Normalizace vrstev upravuje hodnoty aktivací v rámci jedné vrstvy, aby měly stabilnější měřítko.

Pomáhá trénovat hluboké sítě a používá se v architekturách Transformer. Konkrétní umístění normalizace může ovlivnit stabilitu i rychlost učení.