Aktivační funkce ReLU

Rectified Linear Unit, ReLU

ReLU vrací nulu pro záporný vstup a původní hodnotu pro vstup nezáporný: f(x) = max(0, x).

V neuronových sítích přidává nelinearitu a její jednoduchý výpočet usnadňuje trénování hlubších modelů. Její gradient je pro záporné vstupy nulový, takže se některé neurony mohou přestat aktualizovat, pokud zůstanou trvale na této straně. ReLU je častá výchozí volba, ale konkrétní aktivace se vybírá podle architektury a úlohy.