Lidské hodnocení modelu

Human evaluation of machine learning

Lidské hodnocení používá úsudek hodnotitelů k posouzení výstupů, které nelze plně zachytit automatickou metrikou.

Hodnotitelé mohou porovnat užitečnost, srozumitelnost nebo vhodnost odpovědí. Výsledky ovlivňuje zadání, zkušenost i shoda mezi hodnotiteli. Pro srovnání systémů je třeba anonymizovat varianty a předem stanovit hodnoticí kritéria.