Model hodnocení preferencí

Reward model for AI alignment

Model hodnocení odhaduje, nakolik výstup odpovídá naučeným preferencím nebo zadanému cíli.

Skóre se může použít při optimalizaci dalšího modelu nebo při řazení kandidátních odpovědí. Pokud se hodnoticí model naučí chybná měřítka, může podporovat líbivé, ale nepřesné výstupy, proto je třeba jeho úsudky kontrolovat.