Initialization (Weight)
Weight Initialization adalah langkah kritis dalam melatih neural network di mana nilai awal bobot ditentukan sebelum pelatihan dimulai. Inisialisasi yang buruk bisa menyebabkan model gagal belajar (vanishing/exploding gradients).
Konteks Penggunaan
Xavier Initialization dan He Initialization adalah metode standar saat ini.
Contoh
Jika semua bobot di-set ke 0, neuron akan belajar hal yang sama dan tidak ada yang unik. Harus diacak (random).
Catatan
Menentukan seberapa cepat model mencapai konvergensi.
