Knowledge distillation — навчання меншої моделі-учня на виходах великої моделі-вчителя

KV-Cache — кешування key-value тензорів трансформера, що переводить генерацію з O(n²) до O(1)

Speculative decoding — чернетка малою моделлю з верифікацією великою паралельно

Quantization INT4 — зменшення точності ваг моделі для прискорення матричних множень

Semantic caching — збереження відповідей на семантично схожі запити у векторному сховищі