Mamba
term_id: mamba
Category: basic_concepts
Definition
Mamba представляет собой значительный прогресс в моделировании последовательностей благодаря внедрению аппаратно-ориентированной модели селективных пространств состояний (SSM). В отличие от традиционных трансформеров, которые масштабируются квадратично в зависимости от длины последовательности…
Summary
Mamba — это модель последовательностей на основе пространств состояний, обеспечивающая линейное время вывода при сохранении производительности трансформеров в задачах с длинным контекстом.
Key Concepts
- Селективные модели пространств состояний
- Линейная сложность
- Аппаратно-ориентированная архитектура
- Обработка длинного контекста
Use Cases
- Суммаризация длинных документов
- Анализ геномных последовательностей
- Прогнозирование высокочастотных временных рядов