Förträning

term_id: pre_training

Category: training_techniques

Definition

Förträning är en grundläggande teknik inom djupinlärning där en modell lär sig breda funktioner och mönster från enorma mängder data, ofta utan märkning. Denna process gör det möjligt för modellen att utveckla…

Summary

Den inledande fasen av träning av en maskininlärningsmodell på ett stort, omärkt dataset för att lära sig generella representationer innan finjustering på specifika uppgifter.

Key Concepts

  • Överföringsinlärning
  • Funktionsextraktion
  • Storskalig data
  • Finjustering

Use Cases

  • Träna BERT- eller GPT-språkmodeller
  • Initialisera CNN:er med ImageNet-vikter
  • Bygga grundmodeller för multimodal AI

Code Example

1
2
3

from transformers import BertModel
model = BertModel.from_pretrained('bert-base-uncased')
# Model is now pre-trained and ready for fine-tuning

Related