ELU (Exponential Linear Unit)
ELU adalah fungsi aktivasi dalam neural network yang mirip dengan ReLU tetapi memiliki nilai negatif untuk input < 0. Ini membantu mendorong nilai rata-rata aktivasi mendekati nol, yang dapat mempercepat pembelajaran.
Konteks Penggunaan
Alternatif ReLU untuk mengatasi masalah "Dead Neurons".
Contoh
f(x) = x jika x > 0, dan α(e^x - 1) jika x <= 0.
Catatan
Cenderung lebih lambat dihitung dibanding ReLU karena fungsi eksponensial.
