Wstępne szkolenie

term_id: pre_training

Category: training_techniques

Definition

Wstępne szkolenie to podstawowa technika w uczeniu głębokim, w której model uczy się szerokich funkcji i wzorców z ogromnych ilości danych, często bez etykiet. Proces ten umożliwia modelowi…

Summary

Początkowa faza trenowania modelu uczenia maszynowego na dużym, nieetykietowanym zbiorze danych w celu nauki ogólnych reprezentacji przed dopracowaniem (fine-tuning) dla konkretnych zadań.

Key Concepts

  • Uczenie transferowe
  • Ekstrakcja cech
  • Dane w skali makro
  • Dopasowanie (Fine-tuning)

Use Cases

  • Trening modeli językowych BERT lub GPT
  • Inicjalizacja sieci CNN wagami z ImageNet
  • Budowanie modeli bazowych dla wielomodalnego AI

Code Example

1
2
3

from transformers import BertModel
model = BertModel.from_pretrained('bert-base-uncased')
# Model is now pre-trained and ready for fine-tuning

Related