Attention Mechanism

Mekanisme Perhatian (Attention Mechanism) adalah teknik cerdas pada jaringan saraf buatan yang membiarkan model memusatkan "fokus" pada bagian tertentu dari data input yang paling penting untuk tugas saat ini, mirip dengan cara manusia membaca kalimat dan berfokus pada kata kunci spesifik.

Peran Kunci dalam Arsitektur Transformer

Sebelum adanya Attention Mechanism, model AI memproses kalimat kata-demi-kata secara lurus (sekuensial). Hal ini menyebabkan model lupa pada kata pertama saat membaca kalimat yang sangat panjang. Attention mengatasi ini dengan:

• Akses Paralel Secara Instan: Menghubungkan setiap kata langsung ke kata lainnya dalam kalimat tanpa peduli jarak posisinya.
• Pembobotan Dinamis: Memberikan bobot keterkaitan matematis tinggi pada kata yang saling berhubungan (seperti subjek dengan kata kerja pendampingnya).

Inilah rahasia utama mengapa model AI modern (seperti GPT dan BERT) sangat lihai mengerti konteks bacaan panjang yang rumit.

Konsep Self-Attention

Jenis mekanisme perhatian yang paling umum saat ini adalah Self-Attention (digunakan dalam Transformer). Dalam Self-Attention, model membandingkan setiap kata dalam kalimat dengan seluruh kata lainnya dalam kalimat yang sama untuk memahami peran kata tersebut (misal: membedakan kata "bank" sebagai lembaga keuangan atau sebagai tepi sungai berdasarkan kata pendamping di sekitarnya).