Slovník IT, managementu a projektového řízení
Nízkohodnostní adaptace LoRA
Low-rank adaptation for language models
LoRA přizpůsobuje velký model pomocí malých doplňkových matic místo úpravy všech jeho vah.
Základní parametry zůstávají většinou zmrazené a trénují se pouze úzké adaptační vrstvy. Tím se snižují nároky na paměť i výpočet, zatímco kvalita přenosu závisí na datech a vhodné velikosti adaptace.