Předvýcvik

term_id: pre_training

Category: training_techniques

Definition

Předvýcvik je základní technika v hlubokém učení, kde se model učí široké rysy a vzory z masivního množství dat, často bez označení. Tento proces umožňuje modelu vyvinout…

Summary

Počáteční fáze tréninku modelu strojového učení na velké neoznačené sadě dat za účelem naučení obecných reprezentací před doladěním pro konkrétní úkoly.

Key Concepts

  • Přenosové učení
  • Extrakce rysů
  • Velkoskalová data
  • Doladění

Use Cases

  • Trénink jazykových modelů BERT nebo GPT
  • Inicializace CNN pomocí vah z ImageNet
  • Vývoj základových modelů pro multimodální AI

Code Example

1
2
3

from transformers import BertModel
model = BertModel.from_pretrained('bert-base-uncased')
# Model is now pre-trained and ready for fine-tuning

Related