Ajuste de instrucciones (Prompt Tuning)
term_id: prompt_tuning
Category: training_techniques
Definition
El ajuste de instrucciones implica agregar ‘instrucciones suaves’ entrenables (vectores continuos) a la capa de entrada de un modelo de lenguaje preentrenado, manteniendo congelados los parámetros subyacentes del modelo. Este enfoque permite adaptar modelos grandes a tareas específicas con una fracción mínima de parámetros adicionales, reduciendo significativamente el costo computacional y el riesgo de sobreajuste en comparación con el ajuste fino tradicional.
Summary
Un método de ajuste fino eficiente en parámetros que optimiza incrustaciones de entrada continuas en lugar de actualizar todos los pesos del modelo.
Key Concepts
- instrucciones suaves
- eficiencia de parámetros
- pesos congelados
- aprendizaje few-shot
Use Cases
- Adaptación de LLMs para dominios específicos
- Ajuste fino con recursos limitados
- Optimización del aprendizaje multitarea