Normalizace vrstvy

Layer normalization in neural networks

Normalizace vrstvy upravuje rozložení hodnot uvnitř reprezentace podle jednotlivých příkladů.

Výpočet stabilizuje hodnoty při průchodu sítí a může zlepšit chování trénování i inference. V transformerech pomáhá udržet řízený tok dat mezi bloky, konkrétní umístění a varianta se však liší podle architektury.