P-Tuning
term_id: p_tuning
Category: training_techniques
Definition
Il P-Tuning (Prompt Tuning) è una tecnica progettata per adattare i grandi modelli linguistici pre-addestrati a compiti specifici con un costo computazionale minimo. Invece di effettuare il fine-tuning di tutti i parametri del modello, questa tecnica ottimizza solo alcuni embedding aggiuntivi, mantenendo congelati i pesi originali del modello.
Summary
Il P-Tuning è un metodo di affinamento efficiente nei parametri che ottimizza gli embedding dei prompt continui invece di aggiornare i pesi completi del modello pre-addestrato.
Key Concepts
- Affinamento Efficiente nei Parametri
- Token Virtuali
- Pesi Congelati
- Ottimizzazione degli Embedding
Use Cases
- Adattamento per l’apprendimento few-shot
- Ambienti con risorse limitate
- Prototipazione rapida di applicazioni LLM