Prefix Tuning
term_id: prefix_tuning
Category: training_techniques
Definition
Il Prefix Tuning è una tecnica di adattamento efficiente nei parametri per i transformer pre-addestrati. Invece di aggiornare tutti i pesi del modello, prepone una sequenza di vettori continui addestrabili (il prefisso) agli input degli strati del transformer. Questo permette di specializzare il modello per compiti specifici mantenendo congelato il backbone pre-addestrato, riducendo drasticamente il costo computazionale e la memoria rispetto al fine-tuning completo.
Summary
Un metodo di affinamento efficiente nei parametri che aggiunge vettori continui addestrabili all’input degli strati del transformer.
Key Concepts
- Affinamento efficiente nei parametri
- Prompt soft
- Strati del transformer
- Backbone congelato
Use Cases
- Adattamento per few-shot learning
- Apprendimento multi-compito con risorse limitate
- Personalizzazione di LLM per domini di nicchia