Learning Rate
Learning Rate adalah hyperparameter yang mengontrol seberapa banyak kita harus mengubah bobot model sesuai dengan gradien loss yang dihitung. Ini menentukan "panjang langkah" saat algoritma Gradient Descent menuruni bukit error.
Konteks Penggunaan
Learning Rate terlalu besar = model tidak stabil (melompat-lompat). Terlalu kecil = training lambat sekali.
Contoh
Biasanya dimulai dari angka kecil seperti 0.001 atau 0.0001.
Catatan
Sering menggunakan Learning Rate Scheduler untuk mengecilkan langkah seiring waktu.
