Transformer (Architecture)
Transformer adalah arsitektur deep learning yang diperkenalkan oleh Google pada tahun 2017 (makalah "Attention Is All You Need"). Arsitektur ini menggunakan mekanisme Self-Attention untuk memproses data urutan (seperti teks) secara paralel, menggantikan RNN.
Konteks Penggunaan
Fondasi dari semua LLM modern (GPT, BERT, Llama).
Contoh
Transformer memungkinkan model membaca seluruh kalimat sekaligus, bukan kata per kata, sehingga memahami konteks jauh lebih baik.
Catatan
Terdiri dari Encoder dan Decoder (walaupun GPT hanya pakai Decoder-only).
