Kulufunktsioon sõltub tugevalt andmete kvaliteedist, mistõttu ei saa seda usaldusväärselt minimeerida

Suure mudeli korral muutub treeningviga väga väikeseks, mis teeb optimeerimise keeruliseks

Kulufunktsioon on mittelineaarne ja kõrgedimensiooniline, sisaldades lokaalseid miinimume ja sadulapunkte

Närvivõrgud kasutavad palju parameetreid, mistõttu ei saa neid gradientmeetoditega optimeerida