ReLU гарантирует сходимость обучения при любых гиперпараметрах

ReLU всегда возвращает значения в диапазоне [0, 1]

ReLU является дифференцируемой во всех точках

ReLU решает проблему затухания градиента для положительных значений