Slovník IT, managementu a projektového řízení
Jazykový model s maskováním tokenů
Masked Language Model
Model s maskováním dostane sekvenci, ve které jsou některé tokeny skryté, a učí se odhadnout jejich obsah.
Úloha podporuje učení z obou stran kontextu a používá se při předtrénování jazykových modelů pro práci s textem.