DPO

Direct Preference Optimization

DPO je metoda úpravy jazykového modelu podle dvojic odpovědí, z nichž lidé označili jednu za vhodnější.

Optimalizace přímo využívá preference a nevyžaduje samostatný model odměny ve standardní podobě RLHF. Výsledek závisí na kvalitě a vyváženosti hodnoticích příkladů.