Корпус в NLP - це зовнішня оболнка пристрою, що розроблений і призначений для обробки мовлення.

Токени є виокремленими фраментами тексту, зазвичай словами або фрагментами слів

Тонке налаштування (fine-tuning), або пост-навчання (post-training), - це другий етап реалізації LLM, який відповідальний за подальше навчання сформованої на першому етапі мовної моделі, з метою досягти розв'язання більш конкретної задачі, що стоїть перед LLM

N-грама дозволяє коректно розуміти контекст лише у випадку, якщо вона не виходить за межі речення, тобто не слід змішувати в N-граму лексеми із різних речень, оскільки це може призвести до змішування і втрати змісту фраз у реченнях

Конвеєри (або pipeline) реалізують орієнтовані ациклічні графи (Directed Acyclic Graph, DAG), що дозволяють реалізувати і прості лінійні ланцюжки перетворень, і складні гіллясті шляхи, що можуть роз'єднуватися і з'єднуватися

Розмітка документу із маркуванням лексем тегами потрібна для... (оберіть кілька варіантів, що підходять)

Розмір корпусу НЕ може бути малим й бути меншим за сотню чи кілька десятків мегабайт

Неанотований корпус в NLP - це корпус, який не містить попередньо підготованих додаткових даних із описами текстів чи документів у ньому.

Абревіатура "NLP" у контексті вивченого курсу означає "Neural Linguistic Programming"

Граматика - це набір правил, що описують, як синтаксичні одиниці (речення, фрази і т.д.) у мові повинні поділятися на складові елементи