P-Tuning
term_id: p_tuning
Category: training_techniques
Definition
P-Tuning (Prompt Tuning) ist eine Technik, die darauf ausgelegt ist, große vortrainierte Sprachmodelle mit minimalem Rechenaufwand an spezifische Downstream-Aufgaben anzupassen. Statt alle Modellparameter feinabzustimmen, werden nur die Embeddings optimiert.
Summary
P-Tuning ist eine parameter-effiziente Feinabstimmungsmethode, die kontinuierliche Prompt-Embeddings optimiert, anstatt die gesamten Gewichte des vortrainierten Modells zu aktualisieren.
Key Concepts
- Parameter-effiziente Feinabstimmung
- Virtuelle Token
- Gefrorene Gewichte
- Embedding-Optimierung
Use Cases
- Few-Shot-Learning-Anpassung
- Ressourcenbeschränkte Umgebungen
- Schnelles Prototyping von LLM-Anwendungen