Obousměrný jazykový model

Bidirectional Language Model

Obousměrný jazykový model využívá při reprezentaci tokenu kontext zleva i zprava.

Oproti čistě autoregresivnímu modelu tak může současně zohlednit obě strany textu. Tento přístup je vhodný pro porozumění textu a úlohy s maskovanými tokeny.