Pythia
term_id: pythia
Category: basic_concepts
Definition
Pythia je série open-source velkých jazykových modelů (LLM) vytvořená organizací EleutherAI, navržená tak, aby usnadnila výzkum interpretovatelnosti a chování neuronových sítí. Sada zahrnuje modely různých velikostí, které sdílejí stejnou architekturu a tréninková data, což umožňuje vědcům studovat vliv velikosti modelu na jeho výkon a chování.
Summary
Pythia je sada velkých jazykových modelů (LLM) pouze s dekodérem vyvinutá organizací EleutherAI, s rozsahem od 70 milionů do 12 miliard parametrů.
Key Concepts
- Velké jazykové modely
- Výzkum interpretovatelnosti
- Architektura GPT
- Open Source AI
Use Cases
- Studium škálovacích chování LLM
- Výzkum interpretovatelnosti modelů
- Vzdělávací účely v oblasti zpracování přirozeného jazyka