Slovník IT, managementu a projektového řízení
Mezipaměť klíčů a hodnot
Key-value cache in transformer models
Mezipaměť klíčů a hodnot uchovává mezivýpočty potřebné při generování dalších tokenů transformerem.
Díky uloženým reprezentacím nemusí model při každém kroku znovu zpracovat celý předchozí kontext. Paměťová náročnost roste s délkou sekvence i počtem souběžných požadavků, takže její správa ovlivňuje kapacitu služby.