Esikoulutus

term_id: pre_training

Category: training_techniques

Definition

Esikoulutus on syväoppimisen perustekniikka, jossa malli oppii laajoja piirteitä ja kuvioita valtavista datamääristä, usein ilman merkkejä. Tämä prosessi mahdollistaa mallin kehittämisen…

Summary

Mallin koulutuksen alkuvaihe, jossa mallia koulutetaan suurella, merkitsemättömällä datajoukolla oppiakseen yleisiä esitystapoja ennen hienosäätöä tarkoihin tehtäviin.

Key Concepts

  • Siirtäminen oppiminen
  • Ominaisuuksien erottelu
  • Laajamittainen data
  • Hienosäätö

Use Cases

  • BERT- tai GPT-kielimallien koulutus
  • CNN-algoritmien alustus ImageNet-painoarvoilla
  • Monimodaalisen tekoälyn perusmallien rakentaminen

Code Example

1
2
3

from transformers import BertModel
model = BertModel.from_pretrained('bert-base-uncased')
# Model is now pre-trained and ready for fine-tuning

Related