Előtanítás

term_id: pre_training

Category: training_techniques

Definition

Az előtanítás egy alapvető technika a mélytanulásban, ahol a modell széles körű jellemzőket és mintázatokat tanul hatalmas mennyiségű, gyakran címkézetlen adatból. Ez a folyamat lehetővé teszi, hogy a modell általánosabb…

Summary

A gépi tanulási modell betanításának kezdeti szakasza egy nagy, címkézetlen adathalmazon, általános reprezentációk elsajátítása érdekében a specifikus feladatokra történő finomhangolás előtt.

Key Concepts

  • Átviteli tanulás
  • Jellemzők kinyerése
  • Nagy léptékű adat
  • Finomhangolás

Use Cases

  • BERT vagy GPT nyelvi modellek betanítása
  • CNN-k inicializálása ImageNet súlyokkal
  • Alapmodellek építése multimodális MI-hez

Code Example

1
2
3

from transformers import BertModel
model = BertModel.from_pretrained('bert-base-uncased')
# Model is now pre-trained and ready for fine-tuning

Related