Pour une fonction convexe, le fait que le gradient au point définisse un hyperplan d'appui à , lieu de sous-niveau de (avec ) garantit qu'on ne trouve que des valeurs plus petites que dans le demi-espace négatif (à l'opposé d'où pointe ). Cette garantie est perdue si n'est pas convexe.