Mechanismus pozornosti

Attention mechanism

Mechanismus pozornosti umožňuje modelu při zpracování vstupu zvýraznit části, které jsou pro aktuální výpočet důležité.

V jazykových modelech pomáhá spojovat souvislosti mezi slovy i na větší vzdálenost. Nejde o lidskou pozornost ani důkaz, že model textu rozumí.