Mechanismus porovnávání prvků téže posloupnosti

Self-attention layer

Self-attention umožňuje každému prvku posloupnosti vážit informaci z ostatních prvků stejného vstupu.

Mechanismus vytváří váhy podle vztahu mezi dotazem, klíčem a hodnotou jednotlivých pozic. Díky tomu model propojuje vzdálená slova nebo části obrazu bez postupného procházení každého kroku. Výpočet může být náročný při dlouhých posloupnostech a váhy samy nepředstavují úplné vysvětlení rozhodování.