Jazykový model čtoucí kontext jedním směrem

Unidirectional language model

Jednosměrný jazykový model používá pro předpověď dalšího prvku pouze předchozí část posloupnosti.

Toto omezení odpovídá postupnému generování textu, kdy budoucí tokeny ještě nejsou k dispozici. Model může vytvářet výstup po jednom tokenu, ale při učení nevidí kontext napravo od cílové pozice. Volba se liší od obousměrného modelu určeného pro některé analytické úlohy.