Pythia
term_id: pythia
Category: basic_concepts
Definition
Pythia est une série de grands modèles de langage (LLM) open-source créés par EleutherAI, conçus pour faciliter la recherche sur l’interprétabilité et le comportement des réseaux de neurones. La suite comprend des modèles…
Summary
Pythia est une suite de grands modèles de langage (LLM) à architecture de type décodeur uniquement, développée par EleutherAI, allant de 70 millions à 12 milliards de paramètres.
Key Concepts
- Grands modèles de langage
- Recherche sur l’interprétabilité
- Architecture GPT
- IA Open Source
Use Cases
- Étude des comportements de mise à l’échelle des LLM
- Recherche sur l’interprétabilité des modèles
- Fins éducatives pour le traitement du langage naturel (NLP)