Window (Context Window)

NLPLLMAI
Context Window adalah batasan jumlah token (teks) yang dapat diproses oleh model bahasa sekaligus (sebagai input prompt + output). Jika melebihi batas ini, model akan "lupa" bagian awal teks.

Konteks Penggunaan

Claude 3 punya window 200k token.

Contoh

Jika window cuma 4000 token, Anda tidak bisa meng-copy paste satu buku novel utuh ke ChatGPT.

Catatan

RAG adalah trik untuk mengakali batas ini.

Bangun Karier Sebagai AI Engineer dalam 8 Minggu!

Info Detail
Apa Itu Window (Context Window)? Definisi & Penjelasan | Kamus REA Ruangguru