P-Tuning
term_id: p_tuning
Category: training_techniques
Definition
P-Tuning (Prompt Tuning) är en teknik designad för att anpassa stora förtränade språkmodeller till specifika nedströmsuppgifter med minimal beräkningskostnad. Istället för att finjustera alla modellparametrar…
Summary
P-Tuning är en metod för finjustering med effektiv parametrar som optimerar kontinuerliga prompt-inbäddningar istället för att uppdatera hela de förtränade modellvikterna.
Key Concepts
- Finjustering med effektiv parametrar
- Virtuella token
- Frysta vikter
- Inbäddningsoptimering
Use Cases
- Anpassning för few-shot-lärande
- Miljöer med begränsade resurser
- Snabb prototypning av LLM-applikationer