Prompt Tuning
term_id: prompt_tuning
Category: training_techniques
Definition
Il prompt tuning consiste nell’aggiungere prompt morbidi addestrabili (vettori continui) allo strato di input di un modello linguistico pre-addestrato, mantenendo congelati i parametri sottostanti del modello. Questo approccio consente
Summary
Un metodo di affinamento efficiente nei parametri che ottimizza gli embedding continui di input anziché aggiornare i pesi dell’intero modello.
Key Concepts
- prompt morbidi
- efficienza dei parametri
- pesi congelati
- apprendimento few-shot
Use Cases
- Adattamento di LLM a domini specifici
- Affinamento con risorse limitate
- Ottimizzazione dell’apprendimento multi-task