For-træning

term_id: pre_training

Category: training_techniques

Definition

For-træning er en grundlæggende teknik inden for dyb læring, hvor en model lærer brede funktioner og mønstre fra enorme mængder data, ofte uden mærkater. Denne proces gør det muligt for modellen at udvikle…

Summary

Den indledende fase af træning af en maskinlæringsmodel på et stort, umærket datasæt for at lære generelle repræsentationer før finjustering på specifikke opgaver.

Key Concepts

  • Overførselslæring
  • Funktionsekstraktion
  • Data i stort omfang
  • Finjustering

Use Cases

  • Træning af sprogmodeller som BERT eller GPT
  • Initialisering af CNN’er med ImageNet-vægte
  • Bygning af fundamentale modeller til multimodal AI

Code Example

1
2
3

from transformers import BertModel
model = BertModel.from_pretrained('bert-base-uncased')
# Model is now pre-trained and ready for fine-tuning

Related