Slovník IT, managementu a projektového řízení
Mechanismus výběru důležitých částí vstupu
Attention mechanism in neural networks
Mechanismus attention přiřazuje různé váhy částem vstupu podle jejich významu pro aktuální výpočet modelu.
V jazykových modelech pomáhá propojit token s dalšími částmi kontextu, které jsou důležité pro jeho zpracování. Váhy se učí z dat a mění se podle vstupu. Vizualizace attention může být užitečná pro analýzu, ale sama o sobě nepředstavuje úplné vysvětlení rozhodnutí modelu.