Efektivní dolaďování části parametrů

Parameter-efficient fine-tuning (PEFT)

PEFT je skupina metod, které přizpůsobují velký model úloze změnou jen malé části jeho parametrů.

Základní váhy zůstávají většinou zmrazené a trénují se doplňkové vrstvy nebo vybrané parametry. Přístup snižuje nároky na paměť a výpočet, ale vhodná metoda i velikost adaptace závisí na úloze a datech.