Mamba
term_id: mamba
Category: basic_concepts
Definition
Mamba představuje významný pokrok v modelování sekvencí zavedením hardwarově vědomého selektivního modelu stavového prostoru (SSM). Na rozdíl od tradičních transformerů, které škálují kvadraticky s délkou sekvence…
Summary
Mamba je model sekvencí založený na stavových prostorech, který nabízí lineární časovou složitost při inferenci a zároveň zachovává výkon transformerů u úloh s dlouhým kontextem.
Key Concepts
- Selektivní modely stavového prostoru
- Lineární složitost
- Hardwarově vědomá architektura
- Zpracování dlouhého kontextu
Use Cases
- Shrnování dlouhých dokumentů
- Analýza genomových sekvencí
- Předpovídání časových řad s vysokou frekvencí