Prefix Tuning
term_id: prefix_tuning
Category: training_techniques
Definition
Prefix Tuning este o tehnică de adaptare eficientă din punct de vedere al parametrilor pentru transformatoarele pre-antrenate. În loc să actualizeze toate ponderile modelului, aceasta antrenează doar un șir de vectori continui (prefixul) care sunt pre-pendiculați la intrarea fiecărui strat transformer. Această abordare permite personalizarea rapidă a unui model pre-antrenat pentru sarcini specifice, păstrând majoritatea parametrilor originali fixați.
Summary
O metodă de ajustare fină eficientă din punct de vedere al parametrilor care adaugă vectori continui antrenabili la intrarea straturilor transformer.
Key Concepts
- Ajustare fină eficientă din punct de vedere al parametrilor
- Prompturi moi (soft prompts)
- Straturi Transformer
- Nucleu înghețat (frozen backbone)
Use Cases
- Adaptarea pentru învățarea few-shot
- Învățarea multi-sarcină cu resurse limitate
- Personalizarea LLM-urilor pentru domenii de nișă