Полное внимание в трансформере сравнивает каждый токен с каждым. При росте последовательности объём вычислений увеличивается квадратично, O(n²). На длинных текстах это повышает требования к памяти и времени обработки.
State Space Models, Mamba и Hyena предлагают другие способы хранить и передавать информацию по последовательности. Для части операций их сложность растёт линейно, O(n).
State Space Models
SSM обновляет компактное состояние при чтении каждого следующего элемента. Модели не нужно хранить отдельную связь между всеми парами токенов. Такой механизм пришёл из теории управления и хорошо подходит для длинных сигналов.
Цена компактности состоит в том, что часть деталей может потеряться. Результат зависит от того, какую информацию модель научилась сохранять в состоянии.
Mamba
Mamba добавляет селективный механизм. Модель решает, какие входные данные влияют на состояние, а какие можно пропустить. Авторы показывали преимущество по скорости на длинных последовательностях и сильные результаты для языка, аудио и геномных данных.
Это не делает Mamba универсальной заменой трансформеру. Качество зависит от задачи, длины ввода, оборудования и реализации. Сравнивать архитектуры стоит на собственном наборе данных, а не по одному публичному тесту.
Hyena и гибридные модели
Hyena использует длинные свёртки и управляемые фильтры вместо полного внимания. Гибридные модели сочетают такие блоки с вниманием. Они оставляют внимание там, где важны точные связи между токенами, и применяют более дешёвый механизм к остальной последовательности.
Для бизнеса выбор архитектуры имеет смысл, если стоимость обработки длинных текстов, аудио или журналов уже стала ограничением. Перед миграцией нужно сравнить задержку, расход памяти и качество на реальных запросах.
