Функция активации ReLU обнуляет все отрицательные входные значения, что может привести к появлению «мёртвых нейронов» при обучении.

При тестировании нейронной сети механизм Dropout отключает нейроны так же, как и во время обучения.

Свёрточные нейронные сети (CNN) могут применяться только для обработки двумерных данных и неприменимы к одномерным временным рядам.

В рекуррентных нейронных сетях применяется алгоритм BPTT (Backpropagation Through Time), аналогичный backpropagation, развёрнутому во времени.

При инференсе Batch Normalization использует статистику текущего батча для нормализации.

Механизм внимания в архитектуре Transformer позволяет учитывать зависимости между элементами последовательности независимо от расстояния между ними.

Что означает одна эпоха при обучении нейронной сети?

Какая функция потерь наиболее подходит для задачи многоклассовой классификации?

Для чего используется функция активации Softmax в выходном слое?

Почему функция активации ReLU предпочтительнее сигмоиды в глубоких нейронных сетях?