Vanishing Gradient
Vanishing Gradient Problem adalah masalah umum dalam melatih neural network yang sangat dalam (deep). Gradien (sinyal error) menjadi sangat kecil saat merambat mundur ke lapisan awal, menyebabkan neuron di lapisan awal berhenti belajar.
Konteks Penggunaan
Alasan kenapa RNN sulit dilatih untuk sequence panjang.
Contoh
Seperti pesan berantai, semakin panjang rantainya, pesan asli makin hilang atau tidak terdengar oleh orang pertama.
Catatan
Diatasi dengan ReLU, LSTM, dan Residual Connections (ResNet).
