loss function

activation function

bias neuron

backpropagation algorithm

hidden layer

Layers awal dapat mengidentifikasi/merepresentasikan features dari input

Sebagai feature extractor hanya saat arsitekturnya CNN, tetapi tidak untuk MLP

Sebagai feature extractor karena back-propagation yang merepresentasikan input menjadi features

Neural nets tidak compatible dengan feature extractor yang terpisah

Sebagai feature extractor hanya jika semua weights diinisialisasi secara random

exploding gradients (ie. kebalikan dari vanishing gradients)

scale-invariant (ie. untuk non-negative c, maka f(cx) = c f(x))

computation complexity (ie. kompleksitas dari komputasi, misal terkait operasi aritmetik)

non-differentiability (ie. tidak dapat diturunkan atau turunannya tidak terdefinisi)

vanishing gradients (ie. nilai gradient yang menjadi sangat kecil atau bahkan hilang)

unbounded-ness (ie. nilai output tidak ada batasnya)

n by n

m by m

n by 1

m by 1

n by m

prediksi output terhadap input neural nets

besaran update untuk parameter pada saat gradient descents

error antara prediksi output dan output sebenarnya

gradient dari error terhadap input neural nets

gradient dari error terhadap parameter neural nets

Model berhasil mendeteksi lebih banyak instance kelas minoritas, tetapi banyak salah mengklasifikasikan instance kelas mayoritas sebagai kelas minoritas.

Model mengalami underfitting.

Data menjadi terlalu seimbang.

SMOTE gagal diterapkan.

Oversampling, karena menambah jumlah sampel minoritas selalu meningkatkan performa tanpa menimbulkan risiko bias pada model.

Undersampling, karena dataset sangat imbalanced, sehingga membuang sampel mayoritas menjadi strategi paling efektif untuk memperbaiki rasio kelas.

Undersampling, karena mengurangi sampel mayoritas dapat mempercepat proses pelatihan tanpa mengurangi performa model secara signifikan.

Oversampling, karena dataset kecil dan membuang sampel mayoritas berpotensi menghilangkan informasi penting.