Dopasowanie promptów
term_id: prompt_tuning
Category: training_techniques
Definition
Dopasowanie promptów polega na dodawaniu trenowalnych miękkich promptów (ciągłych wektorów) do warstwy wejściowej wstępnie wytrenowanego modelu językowego, przy jednoczesnym zamrożeniu podstawowych parametrów modelu. Podejście to pozwala na
Summary
Metoda drobnego dostrajania (fine-tuning) efektywna pod kątem liczby parametrów, która optymalizuje ciągłe osadzenia wejściowe zamiast aktualizować wszystkie wagi modelu.
Key Concepts
- miękkie prompty
- efektywność parametrów
- zamrożone wagi
- nauka few-shot
Use Cases
- Dostosowywanie dużych modeli językowych (LLM) do specyficznych domen
- Drobne dostrajanie w warunkach ograniczonych zasobów danych
- Optymalizacja nauki wielozadaniowej