Відсутність ефективних архітектур для вилучення просторових ознак з окремих статичних кадрів.

Повна відсутність відкритих датасетів із відеоматеріалами для навчання моделей машинного навчання.

Неможливість збереження відеоданих у форматі тензорів високої розмірності для обробки на графічних процесорах (GPU).

Необхідність часового моделювання та синхронізації динаміки кадрів із послідовністю аудіосигналу або субтитрів протягом часу.

Алгоритм стиснення тексту, що приховує повторювані фрази на основі аналізу метаданих картинок.

Завдання передбачення замаскованих слів у текстовому реченні, де модель повинна використовувати як текстовий контекст, так і пов'язане зображення.

Процес накладання графічної маски на конфіденційні частини зображення (наприклад, обличчя) за текстовою командою.

Генерація випадкових слів замість тих ділянок зображення, які були пошкоджені під час передачі мережею.

Назви класів перетворюються на текстові шаблони (наприклад, 'фото [класу]'), обчислюються їхні ембедінги, і зображенню присвоюється клас із найвищою подібністю ембедінгу.

Зображення порівнюється з базою даних усіх відомих картинок за допомогою алгоритму k-найближчих сусідів.

Модель донавчається (fine-tuning) на 10-15 прикладах нових зображень безпосередньо перед класифікацією.

Модель використовує випадковий генератор для визначення мітки класу, оскільки вона не навчалася під конкретне завдання класифікації.

Конвертація текстових токенів у спектрограми звукових сигналів.

Повне випадкове видалення однієї з модальностей під час регуляризації моделі (аналог Dropout).

Автоматичне розбиття великого пакету даних (batch) на менші частини для розподіленого навчання.

Адаптивне зважування внеску кожної модальності за допомогою механізму вентилів (gates) залежно від контексту та релевантності вхідних даних.

Припущення, що глибокі моделі, навчені на різних модальностях (текст і зображення), створюють простори представлень із подібною геометричною структурою для однакових концептів.

Вимога, щоб розміри файлів текстових описів та зображень були абсолютно однаковими в байтах.

Математичне правило, згідно з яким кількість шарів у текстовому енкодері повинна дорівнювати кількості шарів у візуальному енкодері.

Процес перетворення будь-якого зображення у вектор, що складається виключно з нулів та одиниць.

Для приведення векторів ознак різних модальностей, отриманих з різних енкодерів, до однакової розмірності прихованого простору.

Для класифікації фінальних результатів та розрахунку точності моделі.

Для нелінійного стиснення зображень з метою зменшення кількості каналів кольору.

Для нормалізації яскравості зображень та усунення шумів у звуковому сигналі.

Розпізнавання мовлення шляхом одночасного аналізу звукової доріжки та відеозапису руху губ мовця, що робить модель стійкою до аудіошумів.

Генерація реалістичного відео обличчя людини на основі наданого аудіозапису її голосу.

Автоматичний переклад художніх фільмів з однієї мови на іншу зі збереженням інтонацій акторів.

Синхронізація субтитрів із відеопотоком за допомогою визначення пауз у мовленні.

Вказує моделі на необхідність негайно зупинити обчислення градієнтів та завершити епоху навчання.

Визначає граматичну правильність побудови речення та автоматично виправляє орфографічні помилки.

Слугує маркером для розділення різних мов, якщо текст є багатомовним.

Агрегує контекст усього текстового виразу в один вектор, який потім зіставляється з глобальним візуальним вектором зображення.

Метод, що поєднує випадковий вибір між раннім та пізнім злиттям під час кожної епохи навчання.

Злиття даних, яке виконується виключно людиною-асесором перед початком автоматичного тестування моделі.

Підхід, при якому злиття модальностей відбувається на різних проміжних рівнях глибини мережі за допомогою спеціальних шарів або блоків уваги.

Процес, за якого модель спочатку використовує лише раннє злиття, а наприкінці повністю видаляє одну з модальностей.

Безпосередньо порівнювати об'єкти різних типів (наприклад, оцінити ступінь схожості між аудіофайлом гавкання та зображенням собаки) за косинусною відстанню.

Автоматично шифрувати конфіденційні дані користувачів перед надсиланням на хмарний сервер.

Зберігати файли різних форматів (.mp3, .png, .txt) всередині одного zip-архіву без втрати метаданих.

Зменшувати розмірність будь-якого вхідного зображення до фіксованої сітки 2х2 пікселі.