Попереднє навчання (pretraining), або моделювання мови (language modeling), - це перший етап реалізації LLM, який відповідальний за формування базової моделі (foundation model), яка ще не має жодних конкретних цілей, проте вже здатна прогнозувати наступне слово

Вставки (або embeddings) можуть описувати для LLM як числові представлення окремих токенів, так і цілі речення, абзаци та документи, що є важливими для їх інтерпретації при роботі з текстом

Конвеєри (або pipeline) НЕ дозволяють реалізувати на практиці текстові моделі, поєднавши вектоиизацію із моделлю прогнозування

Мішок слів, або Bag-Of-Words, є векторизованим представленням документу, що дозволяє визначити наявність слів зі словника, які використовуються у вказаному документі

LLM у контексті NLP - це абревіатура від "Limited Liability Management", тобто управління із обмеженою відповідальність

Пряме кодування для мішка слів (або Bag-Of-Words) передбачає такий варіант векторного представлення тексту, коли використання відповідних слів зі словника описується виключно логічним значенням true/false, що визначає лише навність чи відсутність слова у тексті, що дозволяє уникати проблеми "витягнутого хвоста" або розподілу Ципфа (Zipfian distribution)

Розмір корпусу може бути великим і сягати десятків гігабайт чи навіть терабайт

Анотований корпус в NLP - це корпус, який не містить попередньо підготованих додаткових даних із описами текстів чи документів у ньому.

Абревіатура "NLP" у контексті вивченого курсу означає "National Lviv Polytechnic"

Попереднє навчання (pretraining), або моделювання мови (language modeling), - це другий етап реалізації LLM, який відповідальний за подальше навчання сформованої на першому етапі мовної моделі, з метою досягти розв'язання більш конкретної задачі, що стоїть перед LLM