Obousměrná architektura pro reprezentaci textu

Bidirectional Encoder Representations from Transformers, BERT

BERT je architektura jazykového modelu, která při učení textové reprezentace využívá kontext z obou stran tokenu.

Předtrénování na textu umožňuje přenést naučenou reprezentaci do úloh klasifikace, vyhledávání nebo extrakce informací. Model není sám o sobě navržen pro běžné postupné generování dlouhého textu. Konkrétní nasazení zohledňuje jazyková data, licence, náklady a kvalitu na cílové úloze.