Попереднє навчання (pretraining), або моделювання мови (language modeling), - це другий етап реалізації LLM, який відповідальний за подальше навчання сформованої на першому етапі мовної моделі, з метою досягти розв'язання більш конкретної задачі, що стоїть перед LLM