Додати до Chrome
✅ Перевірена відповідь на це питання доступна нижче. Наші рішення, перевірені спільнотою, допомагають краще зрозуміти матеріал.
У чому полягає ключова відмінність між однопотоковими та двопотоковими мультимодальними трансформерами?
Dual-stream моделі принципово не здатні виконувати завдання крос-модального пошуку.
Single-stream подає токени обох модальностей в один трансформер для ранньої крос-уваги; Dual-stream використовує окремі енкодери для кожної модальності.
Single-stream працює вдвічі швидше під час інференсу, але підтримує лише роботу з текстовими даними.
Single-stream архітектури використовуються лише для відеоматеріалів, а Dual-stream — для аудіозаписів.
Отримайте необмежений доступ до відповідей на екзаменаційні питання - встановіть розширення Crowdly зараз!