Gpt2

Definition

Generative Pre-trained Transformer 2 (GPT-2) er en autoregressiv sprogmodel, der bruger transformer-arkitekturen til at generere menneskelignende tekst. Den blev trænet på et massivt datasæt af internettekst.

Summary

GPT-2 er en stor skala transformer-baseret sprogmodel udviklet af OpenAI til tekstgenerering og -forståelse.

Key Concepts

• Transformer-arkitektur
• Autoregressiv modellering
• Naturlig sprogbehandling
• Few-shot learning

Use Cases

• Tekstkomplettering og -generering
• Maskinoversættelse
• Konversationelle agenter

Related Terms

• LLM (Large Language Model / Stor sprogmodel)
• BERT (Bidirectional Encoder Representations from Transformers)
• Attention Mechanism (Opmærksomheds mekanisme)
• Tokenization (Tokenisering)