Prefix-Tuning
term_id: prefix_tuning
Category: training_techniques
Definition
Prefix-Tuning ist eine parametereffiziente Adaptierungstechnik für vortrainierte Transformer-Modelle. Anstatt alle Modellgewichte zu aktualisieren, wird eine Sequenz von trainierbaren kontinuierlichen Vektoren (das Prefix) vor den eigentlichen Eingabe-Token angehängt. Dies ermöglicht es, das Modell an neue Aufgaben anzupassen, ohne die ursprünglichen Gewichte zu verändern.
Summary
Eine parametereffiziente Feinabstimmungsmethode, die trainierbare kontinuierliche Vektoren zum Eingang von Transformer-Schichten hinzufügt.
Key Concepts
- Parametereffizientes Tuning
- Weiche Prompts (Soft Prompts)
- Transformer-Schichten
- Gefrorener Backbone
Use Cases
- Adaption für Few-Shot-Learning
- Multi-Task-Learning mit begrenzten Ressourcen
- Anpassung von LLMs für Nischendomänen