Адаптивна зміна швидкості навчання залежно від градієнтів.

Використання фіксованої швидкості навчання для всіх параметрів.

Уникнення використання градієнтів у процесі оптимізації.

Виключення впливу похибок на навчання моделі.