Gradiens alapú módszerek csak akkor használhatóak ha a számítási gráfban minden művelet differenciálható

A Bellman féle curse of dimensionality azt jelenti ,hogy ahogy emelkedik a dimenziószám a lehetséges kombinációk száma lineárisan emelkedik

Az evolúciós algoritmusok elakadhatnak lokális szélsőértékekben.

Gradiens alapú módszerekkel folytonos értékű paramétereket tudunk optimalizálni

A gradiens alapú optimalizáció elakadhat lokális szélsőértékekben.

A NAS mint probléma a neurális architektúrák hiperparamétereinek optimalizációját foglalja magában.

Egy neurális hálózatban a rétegek száma például hiperparaméter

Hiperparamétereknek nevezzük azon paramétereket egy neurális hálózatban, melyek nem optimalizáltatóak gradiens alapú módszerekkel

Gradiens alapú optimalizációval egy architektúra és tanítás paraméterei közül csak a diszkrét értékűeket. optimalizálhatjuk

Az evolúciós algoritmusok klasszikus lépései a szelekció, rekombináció és mutáció