Slovník IT, managementu a projektového řízení
Mechanismus self-attention
Self-attention
Self-attention umožňuje každému prvku sekvence přiřadit váhy vůči ostatním prvkům téže sekvence.
Model tak při tvorbě reprezentace zohlední vzdálenější vztahy mezi tokeny. Mechanismus je jedním ze základních stavebních prvků architektury Transformer.