Minél több paramétert tartalmaz egy hálózat annál jobb eredményt fog adni egy független teszthalmazon

Egy neurális hálózat leírható egy körmentes gráfként

Hiperparamétereknek nevezzük azon paramétereket egy neurális hálózatban, melyek optimalizáltatóak gradiens alapú módszerekkel

A reinforcement learninget általában olyan feladatok esetén használjuk, ahol egy akció megváltoztatja az állapotteret

Gradiens alapú optimalizációval egy architektúra és tanítás minden paraméterét optimalizálhatjuk

Az evolúciós algoritmusok csak folytonos érték problémákra használhatóak

Gradiens alapú módszerek csak akkor használhatóak ha a számítási gráfban minden művelet legalább kétszer differenciálható

Az evolúciós algoritmusok klasszikus lépései a template tervezés és optimalizáció

Egy neurális hálózatban az összeköttetések súlya például hiperparaméter

Minél több paramétert tartalmaz egy hálózat annál könnyebben túltanul egy fix mennyiségű adathalmazon