Weight Decay
Weight Decay adalah teknik regularisasi dalam machine learning yang menambahkan penalti ke fungsi kerugian (loss function) sebanding dengan besarnya bobot. Ini memaksa bobot tetap kecil untuk mencegah overfitting.
Konteks Penggunaan
Mirip dengan Regularisasi L2.
Contoh
Menjaga agar model tidak terlalu "yakin" berlebihan pada satu fitur saja.
Catatan
Sangat penting di AdamW optimizer.
