Self-Attention (Mechanism)
Self-Attention adalah mekanisme utama dalam arsitektur Transformer yang memungkinkan model untuk menimbang pentingnya kata-kata yang berbeda dalam sebuah kalimat saat memproses setiap kata. Ini memungkinkan model memahami konteks dan hubungan jarak jauh.
Konteks Penggunaan
Jantung dari BERT, GPT, dan LLM modern.
Contoh
Dalam kalimat "Bank itu ada di pinggir sungai", attention mechanism membantu model paham kata "Bank" di sini artinya tanah tepi sungai, bukan tempat simpan uang, dengan melihat kata "sungai".
Catatan
Rumus legendaris: Attention(Q, K, V) = softmax(QK^T / sqrt(d))V.
