Destilace modelu

Knowledge distillation

Destilace přenáší část chování většího učitelského modelu do menšího studentského modelu.

Student se učí z výstupů nebo mezilehlých signálů učitele. Cílem bývá nižší cena a rychlejší běh, přičemž část přesnosti může zaniknout.