Perplexity
Perplexity adalah metrik pengukuran umum untuk mengevaluasi seberapa baik model bahasa (Language Model) memprediksi sampel teks. Secara intuitif, perplexity mengukur seberapa "bingung" model tersebut. Semakin rendah nilai perplexity, semakin baik modelnya.
Konteks Penggunaan
Baseline untuk membandingkan model LLM.
Contoh
Model yang menjawab dengan yakin dan benar memiliki perplexity rendah. Model yang menebak-nebak acak memiliki perplexity tinggi.
Catatan
2^Entropy.
