BERT

BERT adalah model kecerdasan buatan buatan Google yang sangat pintar dalam mengolah bahasa manusia. Sebelum BERT lahir, komputer membaca kalimat secara kaku satu arah (hanya dari kiri ke kanan). BERT mengubah hal ini dengan membaca kalimat secara **dua arah (kiri ke kanan dan kanan ke kiri secara bersamaan)**, meniru cara kita memahami kata ambigu berdasarkan kalimat di sekitarnya.

1. Membaca Konteks Secara Bidirectional (Dua Arah)

BERT memproses kata target dengan melihat kata-kata penjelas di sisi kiri maupun kanannya secara simultan:

• Konteks Penuh: Jika Anda menulis "kepala sekolah", BERT tahu kata "kepala" merujuk pada pimpinan, bukan organ tubuh, karena ia melihat kata "sekolah" di sebelah kanannya.
• Transformer: Arsitektur dasar yang mengukur seberapa erat hubungan antar kata dalam satu kalimat.

2. Metode Berlatih: Masked Language Model (MLM)

Untuk berlatih, BERT diberikan jutaan kalimat di mana 15% kata di dalamnya sengaja disembunyikan menggunakan topeng [MASK], lalu model dipaksa menebak kata asli tersebut:

• Tebakan Konteks: Mirip seperti soal isian rumpang di sekolah, model melatih insting bahasanya berdasarkan sisa kalimat yang terbaca.