L'utilisation du critère d'Armijo pour déterminer le pas de manière adaptative à chaque itération d'une descente de gradient permet d'accélérer drastiquement la convergence par rapport à une descente de gradient à pas constant

Quelle est la valeur maximale du pas qui garantit la convergence d'une descente de gradient à pas constant pour la fonction avec et

Parmi les vecteurs suivants, lesquels correspondent à des directions de descente au point pour la fonction ? (plusieurs réponses possibles)

Parmi les matrices suivantes, lesquelles permettent de définir une forme quadratique convexe ?

La matrice hessienne d'une fonction convexe peut admettre ( comme valeur propre en certains points

La matrice hessienne d'une fonction 2-fois différentiable est définie comme étant la matrice jacobienne du gradient de en :

Pour une fonction convexe, le fait que le gradient au point définisse un hyperplan d'appui à , lieu de sous-niveau de (avec ) garantit qu'on ne trouve que des valeurs plus petites que dans le demi-espace négatif (à l'opposé d'où pointe ). Cette garantie est perdue si n'est pas convexe.

Pour une fonction convexe, on a la garantie que toute itération du type permet de faire décroître la valeur de la fonction objective (donc ) quelle que soit la valeur du pas de descente puisqu'on part dans le demi-espace opposé à la direction du gradient  en . Cette garantie est perdue si n'est pas convexe.

Soit une fonction convexe. Parmi les différentes inégalités suivantes, laquelle correspond à la caractérisation à l'ordre 1 de la convexité ?

Pour une fonction convexe, la caractérisation à l'ordre 1 de la convexité permet de démontrer que tout minimum global est un point critique