Leaky ReLU
Leaky ReLU adalah variasi dari fungsi aktivasi ReLU (Rectified Linear Unit). Jika ReLU biasa mengubah nilai negatif menjadi mutlak 0 (mematikan neuron), Leaky ReLU membiarkan sedikit nilai negatif lewat (misal dikali 0.01).
Konteks Penggunaan
Mengatasi masalah "Dying ReLU" di mana neuron mati total dan berhenti belajar.
Contoh
f(x) = x jika x > 0, dan 0.01x jika x < 0.
Catatan
Memberikan "bocoran" kecil agar gradien tetap mengalir.
