Dávkové zpracování požadavků

Batch processing for model inference

Dávkové zpracování spojuje více požadavků a provádí je společně v jedné výpočetní dávce.

U modelů může snížit režii jednotlivých volání a lépe využít akcelerátor. Dávkování obvykle zvyšuje propustnost, může však prodloužit čekání na zahájení zpracování, takže jeho velikost je třeba volit podle provozních potřeb.