ReLU (Rectified Linear Unit)
ReLU adalah fungsi aktivasi yang paling banyak digunakan di deep learning. Rumusnya sangat sederhana: `f(x) = max(0, x)`. Jika input positif, outputnya sama. Jika input negatif, outputnya nol.
Konteks Penggunaan
Standar de facto untuk hidden layer di CNN dan MLP.
Contoh
Jika neuron menghasilkan nilai -5, ReLU mengubahnya jadi 0 (neuron mati). Jika 5, tetap 5.
Catatan
Komputasinya sangat cepat dibanding Sigmoid/Tanh.
