FlashAttention

FlashAttention je způsob výpočtu pozornosti, který snižuje pohyb dat mezi pamětí a výpočetními jednotkami.

Může zrychlit trénování nebo generování u dlouhých sekvencí. Mění provedení výpočtu, nikoli základní význam mechanismu pozornosti.