Pre-training
Pre-training adalah fase awal pelatihan model machine learning (biasanya model besar seperti LLM) pada dataset raksasa secara unsupervised untuk mempelajari pola umum, struktur bahasa, atau fitur visual, sebelum di-finetune untuk tugas spesifik.
Konteks Penggunaan
Huruf "P" dalam GPT singkatan dari "Pre-trained".
Contoh
Model dilatih membaca seluruh internet (Wikipedia, Reddit, Buku) agar paham bahasa manusia (Pre-training), baru kemudian diajari cara menjawab soal medis (Fine-tuning).
Catatan
Fase yang paling mahal dan butuh ribuan GPU.
