Gradient Descent
Gradient Descent adalah algoritma optimasi iteratif yang digunakan untuk meminimalkan fungsi biaya (cost function) dalam model machine learning. Bayangkan Anda berada di puncak gunung dalam kabut tebal dan ingin turun ke lembah terendah. Gradient Descent bekerja dengan merasakan kemiringan tanah di bawah kaki Anda dan mengambil satu langkah kecil ke arah yang paling curam menurun, berulang kali hingga mencapai dasar.
Konteks Penggunaan
Algoritma di balik pelatihan hampir semua Neural Network modern. Tanpa Gradient Descent (dan variannya seperti Adam), kita tidak bisa melatih model AI.
Contoh
Untuk mencari garis Linear Regression terbaik, Gradient Descent menggeser garis sedikit demi sedikit sampai total error (jarak garis ke titik data) menjadi sekecil mungkin.
Catatan
Dua tantangan utama: Terjebak di Local Minima (lembah palsu) dan menentukan Learning Rate (panjang langkah).
