Parameetreid muudetakse mitmes järjestikuses juhuslikus suunas, kuni leitakse väiksema kuluga lahendus.

Parameetreid kohandatakse iga sammu järel testandmete põhjal, et minimeerida üldistusviga.

Parameetreid muudetakse suunas, mis vähendab kulufunktsiooni kõige kiiremini ning sammu suurust kontrollib õppimise kiirus.

Parameetrid leitakse kulufunktsiooni tuletise abil, kasutades analüütilist võrrandi lahendamise meetodit.