Prompt-Tuning
term_id: prompt_tuning
Category: training_techniques
Definition
Beim Prompt-Tuning werden trainierbare „Soft Prompts“ (kontinuierliche Vektoren) zur Eingabeschicht eines vortrainierten Sprachmodells hinzugefügt, während die zugrunde liegenden Modellparameter eingefroren bleiben. Dieser Ansatz ermöglicht eine effiziente Anpassung.
Summary
Eine parameter-effiziente Feinabstimmungsmethode, die kontinuierliche Eingabe-Embeddings optimiert, anstatt die gesamten Modellgewichte zu aktualisieren.
Key Concepts
- Soft Prompts
- Parameter-Effizienz
- eingefrorene Gewichte
- Few-Shot-Lernen
Use Cases
- Anpassung von LLMs an spezifische Domänen
- Feinabstimmung bei geringen Datenressourcen
- Optimierung des Multi-Task-Lernens