Pra-pelatihan

term_id: pre_training

Category: training_techniques

Definition

Pra-pelatihan adalah teknik mendasar dalam pembelajaran mendalam di mana model mempelajari fitur dan pola luas dari sejumlah besar data, seringkali tanpa label. Proses ini memungkinkan model mengembangkan pemahaman umum tentang struktur data (seperti tata bahasa dalam bahasa atau fitur visual dalam gambar), yang kemudian dapat disesuaikan (fine-tuned) untuk tugas tertentu dengan lebih sedikit data dan komputasi.

Summary

Fase awal pelatihan model pembelajaran mesin pada dataset besar yang tidak berlabel untuk mempelajari representasi umum sebelum penyetelan halus pada tugas spesifik.

Key Concepts

  • Pembelajaran Transfer
  • Ekstraksi Fitur
  • Data Skala Besar
  • Penyetelan Halus

Use Cases

  • Melatih model bahasa BERT atau GPT
  • Menginisialisasi CNN dengan bobot ImageNet
  • Membangun model dasar untuk AI multimoda

Code Example

1
2
3

from transformers import BertModel
model = BertModel.from_pretrained('bert-base-uncased')
# Model is now pre-trained and ready for fine-tuning

Related