Batch Normalization

Batch Normalization adalah teknik merapikan dan menyeimbangkan data masukan di setiap lapisan jaringan saraf tiruan agar proses pelatihan AI berjalan jauh lebih cepat. Bayangkan Anda sedang menyusun tumpukan buku yang ukuran dan ketebalannya berantakan: sebelum menumpuknya, Anda merapikan dan meratakannya terlebih dahulu agar tumpukan buku tersebut seimbang dan tidak mudah roboh.

1. Masalah Pergeseran Data (Internal Covariate Shift)

Tanpa normalisasi, distribusi input di setiap layer bergeser liar selama training karena pembaruan parameter layer sebelumnya:

• Data Berantakan: Menyebabkan lapisan saraf yang lebih dalam harus terus-menerus menyesuaikan diri dengan distribusi data baru yang tidak menentu.
• Saturasi: Mengakibatkan gradien hilang (*vanishing gradient*) di mana model berhenti belajar karena nilai aktivasi terlalu ekstrem.

2. Penyetaraan Distribusi (Setelah BatchNorm)

Batch Normalization menstabilkan input dengan menyetarakan distribusi nilainya secara paksa di setiap mini-batch:

• Mean = 0, Variance = 1: Menyeimbangkan nilai input di sekitar sumbu nol.
• Kecepatan Belajar: Model dapat dilatih dengan learning rate yang lebih tinggi tanpa takut mengalami kegagalan belajar.