Що таке "Context Length" (довжина контексту) LLM у контексті промптингу?

Question

Answer

Середній час відповіді моделі

Answer

Параметр, який змінюється лише після кожного 10-го запиту

Answer

Налаштування Top_p

Answer

Максимальна кількість токенів (вхідних і вихідних), які модель може обробити в одному запиті/відповіді

Answer

Обмеження, яке визначає, скільки інформації (включаючи інструкції, контекст, приклади та сам запит) може бути включено до промпту

Crowdly