LoRA (Low-Rank Adaptation)
LoRA adalah teknik fine-tuning parametrik yang efisien untuk LLM. Alih-alih melatih ulang seluruh miliaran parameter model (yang sangat mahal), LoRA membekukan bobot model asli dan hanya melatih sejumlah kecil matriks adaptasi baru. Ini mengurangi memori GPU yang dibutuhkan secara drastis.
Konteks Penggunaan
Memungkinkan fine-tuning model LLaMA 70B di satu GPU konsumer, yang sebelumnya butuh superkomputer.
Contoh
Anda punya model dasar LLaMA. Anda latih LoRA kecil (100MB) khusus untuk "Bahasa Jawa". Saat dipakai, Anda tempelkan adapter LoRA ini ke model dasar.
Catatan
Sangat populer di komunitas Stable Diffusion dan LLM lokal.
