Tunowanie prefiksowe
term_id: prefix_tuning
Category: training_techniques
Definition
Tunowanie prefiksowe to technika adaptacji efektywnej pod względem liczby parametrów dla wstępnie wytrenowanych transformatorów. Zamiast aktualizować wszystkie wagi modelu, metoda ta poprzedza sekwencję wejściową ciągiem trenowalnych, ciągłych wektorów (prefiksu), które są optymalizowane podczas dopracowywania, pozostawając wagi podstawowego modelu zamrożone.
Summary
Metoda efektywnego pod względem parametrów dopracowywania, która dodaje trenowalne ciągłe wektory do wejścia warstw transformera.
Key Concepts
- Efektywne tunowanie parametrów
- Miękkie prompty (soft prompts)
- Warstwy transformera
- Zamrożony szkielet modelu
Use Cases
- Adaptacja do nauki z małą liczbą przykładów
- Uczenie wielozadaniowe przy ograniczonych zasobach
- Dostosowywanie dużych modeli językowych do niszowych domen