Dual-stream моделі принципово не здатні виконувати завдання крос-модального пошуку.

Single-stream подає токени обох модальностей в один трансформер для ранньої крос-уваги; Dual-stream використовує окремі енкодери для кожної модальності.

Single-stream працює вдвічі швидше під час інференсу, але підтримує лише роботу з текстовими даними.

Single-stream архітектури використовуються лише для відеоматеріалів, а Dual-stream — для аудіозаписів.

InfoNCE (або симетрична крос-ентропія над матрицею подібності).

Huber Loss для стійкості до викидів у числових даних.

Середньоквадратична помилка (MSE).

Втрата Гінжа (Hinge Loss) для розділення класів за допомогою опорних векторів.

Система повинна дати коректну текстову відповідь на запитання на природній мові, поставлене до змісту вхідного зображення.

Пошук зображень в Інтернеті, які найкраще відповідають текстовому запиту користувача.

Генерація випадкових запитань до заданого зображення для навчання інших моделей.

Класифікація зображень за категоріями якості та роздільної здатності.

Воно повністю виключає використання нейронних мереж, спираючись на лінійний дискримінантний аналіз.

Воно вимагає конкатенації векторів ознак безпосередньо перед шаром класифікатора.

Це представлення використовується виключно для текстових та аудіо даних, і не підходить для зображень.

Модальності залишаються у своїх окремих просторах, але на них накладаються обмеження координації (наприклад, максимізація кореляції чи подібності).

Збереження окремих просторів для кожної модальності, які пов'язані лише через математичні обмеження подібності.

Використання однієї модальності як входу, а іншої — виключно як мітки класу (target).

Паралельне навчання кількох моделей без будь-якого обміну інформацією між ними до етапу тестування.

Проєкція ознак усіх модальностей у спільний прихований простір, де вони об'єднуються для подальшого аналізу.

Генерація детального текстового опису для зображення за допомогою авторегресійного декодера.

Попіксельне відновлення замаскованих ділянок зображення за допомогою текстових підказок (prompts).

Максимізація косинусної подібності між ембедінгами відповідних пар зображення-текст та мінімізація для невідповідних пар за допомогою контрастивного навчання.

Прогнозування наступного слова в реченні на основі послідовності попередніх слів та статичного ембедінгу зображення.

Пошук і видалення дублікатів даних усередині одного текстового корпусу.

Процес перетворення аудіозапису в текстовий формат у режимі реального часу.

Автоматичне генераційне доповнення відсутніх кадрів у відеопотоці на основі аудіодоріжки.

Пошук об'єктів однієї модальності за допомогою запиту, сформованого в іншій модальності (наприклад, пошук зображень за текстовим описом).

Вона не здатна вловлювати складні нелінійні взаємодії між ознаками різних модальностей на ранніх етапах обробки.

Вона є занадто чутливою до пропущених значень в одній із модальностей порівняно з раннім злиттям.

Вона значно збільшує складність оптимізації через конкатенацію сирих даних.

Вона вимагає обов'язкової однакової розмірності вхідних даних для всіх модальностей.

Кожна модальність навчається окремо, а рішення приймається шляхом голосування або усереднення фінальних передбачень.

Ознаки з різних модальностей об'єднуються (наприклад, конкатенуються) на початковому етапі, до передачі в модель класифікації чи регресії.

Це підхід, при якому одна модальність повністю ігнорується, якщо її вага нижча за певне порогове значення.

Злиття відбувається виключно на рівні вихідних шарів архітектури Transformer за допомогою крос-уваги.

Великі табличні дані, що містять виключно числові ознаки високої розмірності.

Дані, отримані з кількох різних джерел або через різні канали сприйняття (наприклад, текст, зображення, аудіо, сенсори).

Текстові дані, які були перекладені кількома іноземними мовами.

Дані, які обробляються виключно в межах одного потоку та однієї архітектури нейромережі без додаткових перетворень.