Activation Function
Fungsi aktivasi (activation function) adalah sebuah komponen matematika yang diterapkan pada total bobot input yang diterima oleh neuron buatan sebelum menghasilkan output akhir. Peran utamanya adalah memasukkan unsur non-linearitas ke dalam model, sehingga jaringan saraf mampu mempelajari pola data yang rumit dan menyelesaikan berbagai persoalan kompleks.
Pentingnya Sifat Non-Linear dalam Jaringan Saraf
Sebagian besar data di dunia nyata tidak bersifat linear atau tidak dapat dipisahkan secara sederhana dengan satu garis lurus. Sebagai contoh, saat membedakan foto kucing dan anjing berdasarkan tekstur bulu dan bentuk telinga, batas keputusannya melengkung dan sangat kompleks.
Tanpa adanya fungsi aktivasi non-linear, semua perhitungan di dalam jaringan saraf hanya berupa perkalian matriks dan penjumlahan biasa. Artinya, seberapa banyak pun lapisan (layer) tersembunyi yang Anda tambahkan, seluruh jaringan akan berperilaku layaknya satu model linear sederhana. Fungsi aktivasi memberikan kemampuan adaptasi bagi model untuk melengkungkan batas keputusan tersebut.
Jenis-Jenis Fungsi Aktivasi Populer
1. Fungsi Sigmoid
Fungsi Sigmoid memetakan nilai input apa pun ke dalam rentang antara 0 dan 1. Bentuk kurvanya menyerupai huruf S. Fungsi ini sangat berguna untuk memprediksi probabilitas karena nilainya selalu berada di batas peluang.
2. Fungsi Tanh (Hyperbolic Tangent)
Tanh merupakan pengembangan dari fungsi Sigmoid. Perbedaan utamanya adalah Tanh menghasilkan nilai dengan rentang -1 hingga 1. Karena hasilnya berpusat di angka nol, rata-rata output dari satu layer akan mendekati nol, yang membantu mempercepat proses pemusatan data untuk layer berikutnya.
- Rentang Output: -1 hingga 1
- Umumnya berkinerja lebih baik daripada Sigmoid pada hidden layer
- Kelemahan: Masih dapat mengalami masalah vanishing gradient
3. Fungsi ReLU (Rectified Linear Unit)
ReLU adalah fungsi aktivasi paling populer dalam arsitektur deep learning saat ini. Aturannya sangat sederhana: jika input bernilai positif, hasilkan nilai itu sendiri. Jika input bernilai negatif atau nol, hasilkan nol. Kesederhanaan ini membuatnya sangat efisien secara komputasi.
- Rentang Output: 0 hingga tak hingga
- Sangat mempercepat proses pelatihan model deep learning
- Mengaktifkan neuron secara selektif (sparsity), menghemat daya komputasi
- Kelemahan: Masalah "Dying ReLU" di mana neuron yang mati hanya akan terus menghasilkan output nol
4. Fungsi Leaky ReLU
Leaky ReLU dirancang khusus untuk mengatasi masalah "Dying ReLU". Dibandingkan menetapkan nilai nol mutlak untuk input negatif, fungsi ini memberikan sedikit nilai negatif konstan (biasanya dikalikan dengan faktor 0.01).
- Rentang Output: Minus tak hingga hingga plus tak hingga
- Mencegah neuron mati sepenuhnya dengan membiarkan sedikit informasi negatif mengalir
- Menjaga kestabilan proses pembaruan bobot dalam model
Uji Pemahaman Mandiri
Apa peran utama Activation Function dalam jaringan saraf tiruan (neural network)?
