Slovník IT, managementu a projektového řízení
KV cache
Key-Value Cache
KV cache ukládá mezivýsledky mechanismu pozornosti pro již zpracované tokeny, aby je model při další generaci nemusel počítat znovu.
Zrychluje pokračování dlouhého textu, ale spotřebovává paměť grafického procesoru. Velikost cache roste s délkou kontextu a počtem souběžných požadavků.