Mamba

Mamba and State Space Models

Mamba je architektura založená na stavových modelech, která zpracovává dlouhé posloupnosti bez standardní plné pozornosti Transformeru.

Jejím cílem je omezit růst výpočetních nároků s délkou vstupu. Výhoda závisí na úloze, implementaci i dostupném hardwaru.