Prefix tuning
term_id: prefix_tuning
Category: training_techniques
Definition
A Prefix Tuning egy paraméter-hatékony adaptációs technika az előképzett transzformerek számára. Ahelyett, hogy minden modell súlyt frissítene, egy betanítható folytonos vektorokból álló szekvenciát (az előtagot) fűz hozzá a bemeneti embeddingekhez vagy a rétegek közötti állapotokhoz, így lehetővé téve a specifikus feladatra való alkalmazkodást minimális számítási költséggel.
Summary
Egy paraméter-hatékony finomhangolási módszer, amely betanítható folytonos vektorokat ad a transzformer rétegek bemenetéhez.
Key Concepts
- Paraméter-hatékony hangolás
- Puha promptok
- Transzformer rétegek
- Fagyasztott gerinc
Use Cases
- Keveset látó tanulás adaptálása
- Többfeladatos tanulás korlátozott erőforrásokkal
- LLM testreszabása speciális területekre