Latence modelu

Model latency

Latence modelu je čas mezi odesláním vstupu a získáním odpovědi nebo její první části.

Ovlivňuje ji velikost modelu, délka kontextu, zatížení i síť. U konverzace je vhodné měřit čas do prvního tokenu i celkovou dobu dokončení.