Він виконує поелементне множення матриць ознак без використання операцій проектування.

Запити (Queries) генеруються з однієї модальності, а ключі (Keys) та значення (Values) — з іншої, що дозволяє моделювати взаємозв'язки між ними.

Він автоматично блокує розповсюдження градієнтів у слабшу модальність для уникнення перенавчання.

Він усереднює всі вектори уваги всередині лише однієї модальності перед переходом до наступного шару.