Pythia
term_id: pythia
Category: basic_concepts
Definition
Pythia er en serie med åpne kildekode store språkmodeller (LLM) laget av EleutherAI, designet for å fremme forskning i tolknbarhet og atferd hos neurale nettverk. Samlingen inkluderer modeller av ulike størrelser for å studere skaleringsatferd.
Summary
Pythia er en samling store språkmodeller (LLM) kun med dekoder, utviklet av EleutherAI, som varierer fra 70 millioner til 12 milliarder parametre.
Key Concepts
- Store språkmodeller (Large Language Models)
- Tolknbarhetsforskning (Interpretability Research)
- GPT-arkitektur
- Åpen kildekode AI
Use Cases
- Studie av LLM-skaleringsatferd
- Forskning på modelltolknbarhet
- Utdanning innen naturlig språkbehandling (NLP)