Inference na vyžádání

Online Inference

Inference na vyžádání spustí model pro konkrétní požadavek a vrátí výsledek během běžného provozu aplikace.

Aplikace ji používá, když potřebuje predikci pro právě přijatý vstup. Návrh musí počítat s dobou odezvy, dostupnou kapacitou a chováním při nedostupnosti modelu.