Ön Eğitim

Definition

Derin öğrenmede temel bir teknik olan ön eğitim, bir modelin etiketlere ihtiyaç duymadan devasa miktardaki veriden geniş özellikleri ve kalıpları öğrenmesini sağlar. Bu süreç, modelin benzer görevler için transfer öğrenmeye hazır hale gelmesini ve daha az veriyle hızlıca özelleştirilmesini mümkün kılar.

Summary

Belirli görevlere ince ayar yapılmadan önce genel temsiller öğrenmek amacıyla büyük, etiketsiz bir veri kümesinde makine öğrenimi modelini eğitmenin başlangıç aşaması.

Key Concepts

• Transfer Öğrenme
• Özellik Çıkarma
• Büyük Ölçekli Veri
• İnce Ayar

Use Cases

• BERT veya GPT gibi dil modellerinin eğitilmesi
• CNN’lerin ImageNet ağırlıklarıyla başlatılması
• Çok modlu yapay zeka için temel modellerin oluşturulması

Code Example

1
2
3

from transformers import BertModel
model = BertModel.from_pretrained('bert-base-uncased')
# Model is now pre-trained and ready for fine-tuning

Related Terms

• Fine-tuning (İnce Ayar)
• Foundation Model (Temel Model)
• Unsupervised Learning (Etiketsiz Öğrenme)
• Transfer Learning (Transfer Öğrenme)