P-Tuning
term_id: p_tuning
Category: training_techniques
Definition
P-Tuning (Prompt Tuning) to technika zaprojektowana w celu dostosowania dużych wstępnie wytrenowanych modeli językowych do konkretnych zadań końcowych przy minimalnym koszcie obliczeniowym. Zamiast dostrajać wszystkie parametry modelu, metoda ta optymalizuje tylko wektory osadzeń promptów, pozostawiając wagi modelu zamrożone, co pozwala na efektywne uczenie się bez pełnego fine-tuningu.
Summary
P-Tuning to metoda dostrajania oszczędzająca parametry, która optymalizuje ciągłe osadzenia promptów zamiast aktualizować wagi całego modelu wstecznie wytrenowanego.
Key Concepts
- Dostrojenie oszczędzające parametry
- Tokeny wirtualne
- Zamrożone wagi
- Optymalizacja osadzeń
Use Cases
- Adaptacja do nauki few-shot
- Środowiska z ograniczonymi zasobami
- Szybkie prototypowanie aplikacji LLM