Ситуація, коли ті самі features обчислюються по-різному під час тренування і в production, через що модель бачить інші дані ніж ті, на яких навчалась

Різниця у продуктивності моделі при обробці коротких і довгих вхідних послідовностей

Затримка між навчанням моделі на нових даних і її деплоєм у production-середовище

Розбіжність між якістю моделі на тренувальній і тестовій вибірках, яка свідчить про overfitting

Відхилення реальних вхідних даних від розподілу тренувальної вибірки через зміну поведінки користувачів

WebSocket підтримує мультиплексування кількох потоків на одному з'єднанні, що критично для багатоканального аудіо

WebSocket забезпечує нижчу латентність передачі даних завдяки використанню протоколу UDP замість TCP

Голосова розмова є двонаправленою — клієнт одночасно надсилає аудіо і отримує відповідь, що вимагає bidirectional з'єднання, якого SSE не забезпечує

SSE має обмеження на розмір повідомлення, що унеможливлює передачу аудіофреймів достатньої якості

SSE не підтримує бінарні дані, а аудіо передається виключно в бінарному форматі

Knowledge distillation — навчання меншої моделі-учня на виходах великої моделі-вчителя

KV-Cache — кешування key-value тензорів трансформера, що переводить генерацію з O(n²) до O(1)

Speculative decoding — чернетка малою моделлю з верифікацією великою паралельно

Quantization INT4 — зменшення точності ваг моделі для прискорення матричних множень

Semantic caching — збереження відповідей на семантично схожі запити у векторному сховищі

Мінімалістичний UX з миттєвим streaming-відгуком усунув технічний бар'єр і дав змогу будь-якому користувачу дійти до «aha moment» без реєстрації та навчання — UX, а не модель, став ключовою інновацією

OpenAI провів масштабну маркетингову кампанію з інфлюенсерами, яка забезпечила вірусне поширення продукту

GPT-3.5 був значно покращений порівняно з попередніми версіями — саме якість моделі спричинила adoption

Безкоштовна модель усунула фінансовий бар'єр, що раніше обмежував доступ широкої аудиторії до LLM

Інтеграція з Microsoft продуктами надала доступ до існуючої бази корпоративних користувачів Office 365

Власний індекс є єдиним способом забезпечити результати свіжіші за 24 години, яких сторонні пошукові системи не надають

Сторонні пошукові API не підтримують streaming передачу результатів, що критично для низької латентності

Google та Bing не надають API для стартапів, що не входять до їх партнерської програми

Власний індекс дозволяє уникнути порушення авторських прав на контент, які виникають при використанні стороніх пошукових API

При такому масштабі вартість стороннього API ($ за запит) перевищує амортизовану вартість власної інфраструктури; власний індекс також можна оптимізувати під LLM-контекст, чого стороннє API не дозволяє

Бренд і довіра користувачів — репутація компанії, побудована через PR і маркетинг

Системний промпт — детально налаштований промпт, що забезпечує унікальну поведінку продукту

Накопичені поведінкові дані реальних користувачів — Spotify за 18 років, Tesla з мільйонів автомобілів, Perplexity з 500 млн запитів; ці дані неможливо купити або відтворити за короткий час

UX дизайн — унікальний інтерфейс, який конкурентам складно скопіювати через патентний захист

Архітектура моделі — унікальна нейромережева архітектура, розроблена in-house командою дослідників

Редакційна куратура — Spotify вручну перевіряє нові треки перед включенням в рекомендації

Колаборативна фільтрація — через знаходження схожих користувачів, які вже слухали цей трек

Experiment pool механізм — трек показується 200 випадковим користувачам для збору первинного сигналу

Аналіз аудіо-характеристик (tempo, energy, valence) — трек отримує вектор ознак без жодних прослуховувань

NLP-аналіз плейлистів — через текстові описи плейлистів, де згадується трек

Алгоритм може рекомендувати контент від акаунтів з великою кількістю підписників, що підвищує якість стрічки

Алгоритм захищає приватність, бо не відстежує соціальні зв'язки між користувачами

Нові користувачі отримують релевантний контент одразу на основі поведінки, без необхідності підписуватись на когось і накопичувати соціальний граф

Контент від нових авторів отримує пріоритет перед контентом від популярних творців

Платформа уникає filter bubble, бо не персоналізує контент за демографічними ознаками

High severity — виправити до наступного релізу; повідомити команду безпеки і розробників модели

Critical severity — заблокувати деплой або вивести продукт з production до усунення; масштабована шкода (синтез небезпечних речовин) не допускає жодної затримки виправлення

Інформаційна severity — задокументувати і передати до команди LLM-провайдера, власна команда не несе відповідальності за поведінку базової моделі

Low severity — jailbreak вимагає складної послідовності дій, тому малоймовірний для звичайного користувача

Medium severity — виправити в наступному релізі; задокументувати як відому вразливість у внутрішній wiki

GDPR вимагає зберігати персональні дані громадян ЄС виключно на серверах, розміщених в ЄС

Мультирегіональне розміщення підвищує fault tolerance — при відмові одного регіону трафік переходить на інший

Мультирегіональна архітектура дозволяє паралельно обробляти один запит на кількох GPU для підвищення якості

Локальні GPU дешевші за централізовані cloud-сервери через нижчу вартість електроенергії в різних країнах

Мережева затримка між користувачем і GPU прямо входить у бюджет 300 мс — трансатлантичний RTT (~100 мс) споживає третину бюджету ще до початку inference; локальний GPU зменшує RTT до 15–30 мс