Pra-dilatih

Definition

Istilah ‘pra-dilatih’ menggambarkan model jaringan saraf yang telah menjalani pelatihan awal pada dataset masif, seringkali bersifat umum, seperti ImageNet atau Wikipedia. Proses ini memungkinkan model mempelajari fitur-fitur fundamental dan representasi hierarkis dari data. Model pra-dilatih kemudian dapat digunakan sebagai titik awal untuk tugas downstream melalui teknik transfer learning atau fine-tuning, yang secara signifikan mengurangi kebutuhan akan data dan komputasi dibandingkan melatih model dari nol.

Summary

Mengacu pada model yang telah dilatih pada dataset besar sebelum disesuaikan untuk tugas spesifik.

Key Concepts

• Pembelajaran transfer
• Ekstraksi fitur
• Model fondasi
• Fine-tuning

Use Cases

• Inisialisasi model BERT atau GPT
• Menggunakan ResNet untuk klasifikasi gambar
• Titik awal untuk tugas NLP spesifik domain

Related Terms

• transfer_learning (pembelajaran transfer)
• foundation_models (model fondasi)
• fine_tuning (penyesuaian halus)
• feature_extraction (ekstraksi fitur)