KL Divergence (Kullback-Leibler)
Kullback-Leibler (KL) Divergence adalah ukuran statistik yang menghitung seberapa jauh satu distribusi probabilitas berbeda dari distribusi probabilitas kedua (referensi). Dalam Machine Learning, ini sering digunakan sebagai fungsi kerugian (loss function).
Konteks Penggunaan
Melatih Variational Autoencoders (VAE) dan t-SNE.
Contoh
Mengukur seberapa banyak informasi yang hilang jika kita mengaproksimasi distribusi data asli yang rumit dengan distribusi Normal sederhana.
Catatan
Tidak simetris: KL(P||Q) != KL(Q||P).
