Відомо, що градієнт функції в будь-якій точці х вказує напрямок найбільшого локального збільшення функції. Отже під час пошуку мінімуму можна спробувати рухатися в напрямку,  градієнту функції в даній точці, тобто в напрямку найшвидшого спуску.