P-Tuning
term_id: p_tuning
Category: training_techniques
Definition
P-Tuning (Prompt Tuning) je technika navržená pro přizpůsobení velkých předtrénovaných jazykových modelů konkrétním úlohám s minimálními výpočetními náklady. Místo jemného ladění všech parametrů modelu se…
Summary
P-Tuning je metoda jemného ladění efektivního z hlediska parametrů, která optimalizuje spojité vstupy promptů místo aktualizace všech vah předtrénovaného modelu.
Key Concepts
- Jemné ladění efektivní z hlediska parametrů
- Virtuální tokeny
- Neměnné váhy
- Optimalizace vložení
Use Cases
- Adaptace pro učení s malým množstvím dat
- Prostředí s omezenými zdroji
- Rychlé prototypování aplikací LLM