Pythia
term_id: pythia
Category: basic_concepts
Definition
Pythia adalah seri model bahasa besar (LLM) sumber terbuka yang dibuat oleh EleutherAI, dirancang untuk memfasilitasi penelitian mengenai interpretabilitas dan perilaku jaringan saraf. Rangkaian ini mencakup model-model dengan berbagai ukuran, memungkinkan peneliti mempelajari bagaimana skala mempengaruhi kinerja dan interpretasi model.
Summary
Pythia adalah rangkaian model bahasa besar (LLM) decoder-only yang dikembangkan oleh EleutherAI, dengan jumlah parameter berkisar dari 70 juta hingga 12 miliar.
Key Concepts
- Large Language Models (Model Bahasa Besar)
- Penelitian Interpretabilitas
- Arsitektur GPT
- AI Sumber Terbuka
Use Cases
- Mempelajari perilaku penskalaan LLM
- Meneliti interpretabilitas model
- Tujuan pendidikan untuk Pemrosesan Bahasa Alami (NLP)