Prefix Tuning
term_id: prefix_tuning
Category: training_techniques
Definition
O Prefix Tuning é uma técnica de adaptação eficiente em parâmetros para transformadores pré-treinados. Em vez de atualizar todos os pesos do modelo, ele antecede uma sequência de vetores contínuos treináveis (o prefixo) às entradas das camadas do transformador.
Summary
Um método de ajuste fino eficiente em parâmetros que adiciona vetores contínuos treináveis à entrada das camadas do transformador.
Key Concepts
- Ajuste Fino Eficiente em Parâmetros
- Prompts Suaves
- Camadas do Transformador
- Backbone Congelado
Use Cases
- Adaptação para aprendizado few-shot
- Aprendizado multi-tarefa com recursos limitados
- Personalização de LLMs para domínios específicos