Stochastic Gradient Descent (SGD)
SGD adalah varian dari algoritma optimasi Gradient Descent yang memperbarui bobot model model berdasarkan gradien dari SATU sampel data acak (atau batch kecil) pada satu waktu, bukan menunggu seluruh dataset dihitung. Ini membuat pelatihan jauh lebih cepat.
Konteks Penggunaan
Algoritma dasar di balik pelatihan Neural Network.
Contoh
Bayangkan menuruni gunung dalam kabut. Alih-alih meraba seluruh tanah di sekitar (Full Batch), Anda ambil satu langkah kecil berdasarkan kemiringan di titik kaki Anda pijak sekarang (Stochastic).
Catatan
Meskipun "berisik" (stochastic), ia sering berhasil keluar dari local minima.
