Pre-antrenare

term_id: pre_training

Category: training_techniques

Definition

Pre-antrenarea este o tehnică fundamentală în învățarea profundă, unde un model învață caracteristici și tipare largi din cantități masive de date, adesea fără etichete. Acest proces permite modelului să dezvolte…

Summary

Faza inițială de antrenament a unui model de învățare automată pe un set de date mare, netichetat, pentru a învăța reprezentări generale înainte de ajustarea fină pe sarcini specifice.

Key Concepts

  • Învățarea transferată
  • Extragerea caracteristicilor
  • Date la scară largă
  • Ajustare fină

Use Cases

  • Antrenarea modelelor de limbaj BERT sau GPT
  • Inițializarea CNN-urilor cu ponderile ImageNet
  • Construirea modelelor fundamentale pentru AI multimodal

Code Example

1
2
3

from transformers import BertModel
model = BertModel.from_pretrained('bert-base-uncased')
# Model is now pre-trained and ready for fine-tuning

Related