Warm-up (Learning Rate)
Learning Rate Warm-up adalah teknik penjadwalan di mana learning rate dimulai dari angka sangat kecil dan dinaikkan secara bertahap di awal pelatihan. Ini membantu pelatihan lebih stabil di fase awal.
Konteks Penggunaan
Standar saat melatih Transformer.
Contoh
500 step pertama naikkan LR dari 0 ke 0.001, setelah itu baru pakai strategi decay.
Catatan
Mencegah gradien meledak di awal.
