Layer Normalization
Layer Normalization adalah teknik untuk menstabilkan dan mempercepat pelatihan deep neural network dengan menormalisasi input neuron di seluruh fitur untuk satu sampel data, bukan di seluruh batch (seperti Batch Norm).
Konteks Penggunaan
Sangat penting dalam arsitektur Transformer (BERT, GPT).
Contoh
Memastikan skala angka internal di dalam network tetap stabil, tidak meledak jadi triliunan atau menyusut jadi nol.
Catatan
Membuat model lebih independen terhadap Batch Size.
