При обучении на несбалансированных классах

При малом значении коэффициента регуляризации L2

При использовании функции потерь MSE в задаче классификации

При использовании сигмоидной активации в сети с большим числом слоёв

Замена функции активации на линейную

Gradient Clipping — ограничение нормы градиента

Увеличение скорости обучения

Удаление скрытых слоёв

Перцептрон требует слишком много итераций для сходимости на XOR

Функция активации перцептрона не поддерживает операцию XOR

XOR не является линейно разделимой задачей, а перцептрон строит только линейную границу

Перцептрон не поддерживает бинарные входные данные

Высокая ошибка на обучающей и высокая на тестовой выборке

Низкая ошибка на обучающей и высокая на тестовой выборке

Высокая ошибка на обучающей и низкая на тестовой выборке

Низкая ошибка на обучающей и низкая на тестовой выборке

Adam не требует задания начального значения learning rate

Adam гарантирует глобальный минимум функции потерь

Adam требует меньше памяти при обучении

Adam адаптирует скорость обучения для каждого параметра индивидуально

Мини-батч всегда достигает глобального минимума быстрее

Мини-батч не требует задания размера батча

Мини-батч исключает необходимость в регуляризации

Мини-батч сочетает вычислительную эффективность и стабильность обновления весов

Нормализация входных данных перед подачей в сеть

Инициализация весов сети случайными значениями

Определение оптимальной архитектуры сети

Вычисление градиентов функции потерь по весам для их обновления

Веса обновляются в сторону увеличения функции потерь

Веса фиксируются после первой эпохи

Веса обновляются в направлении, противоположном градиенту функции потерь

Веса принимают только бинарные значения 0 или 1

Полносвязный слой использует разделяемые веса для всех нейронов

Каждый нейрон полносвязного слоя соединён со всеми нейронами предыдущего слоя

Полносвязный слой обрабатывает только двумерные данные

Полносвязный слой не содержит обучаемых параметров

Случайно отключает нейроны во время обучения с заданной вероятностью

Уменьшает скорость обучения после каждой эпохи

Добавляет шум к входным данным

Обнуляет веса нейронов с наименьшим вкладом