Ladění promptů
term_id: prompt_tuning
Category: training_techniques
Definition
Ladění promptů spočívá v přidatelných měkkých promptech (spojitých vektorů) do vstupní vrstvy předtrénovaného jazykového modelu, zatímco základní parametry modelu zůstávají zamrzlé. Tento přístup umožňuje efektivní adaptaci bez nutnosti přepočítávání celého modelu.
Summary
Metoda jemného ladění s nízkou náročností na parametry, která optimalizuje spojité vstupní vložky místo aktualizace všech vah modelu.
Key Concepts
- měkké prompty
- účinnost parametrů
- zamrzlé váhy
- učení s malým množstvím dat (few-shot learning)
Use Cases
- Přizpůsobení velkých jazykových modelů pro specifické domény
- Jemné ladění při nedostatku zdrojů
- Optimalizace víceučelového učení