GPT-2
term_id: gpt2
Category: basic_concepts
Definition
Generative Pre-trained Transformer 2 (GPT-2) to autoregresyjny model językowy, który wykorzystuje architekturę transformera do generowania tekstu przypominającego ludzki. Został wytrenowany na ogromnym zbiorze danych tekstowych z internetu.
Summary
GPT-2 to duży model językowy oparty na architekturze transformera, opracowany przez OpenAI do generowania i rozumienia tekstu.
Key Concepts
- Architektura Transformera
- Modelowanie Autoregresyjne
- Przetwarzanie Języka Naturalnego
- Uczenie z Małą Liczbą Przykładów (Few-Shot Learning)
Use Cases
- Uzupełnianie i generowanie tekstu
- Tłumaczenie maszynowe
- Agenci konwersacyjni