Naučená metrika hodnocení textových výstupů

Bilingual Evaluation Understudy from Transformers, BLEURT

BLEURT je naučená metrika, která hodnotí podobnost generovaného textu s referencí s využitím jazykového modelu.

Na rozdíl od čistého překryvu slov se snaží lépe zachytit sémantickou podobnost a variaci formulace. Skóre závisí na trénovacích datech metriky a nemusí odpovídat lidskému posouzení každé oblasti. Při porovnání systémů se používá stejná verze a doplňují se cílené testy kvality.