Prefix Tuning
term_id: prefix_tuning
Category: training_techniques
Definition
Prefix Tuning adalah teknik adaptasi efisien parameter untuk transformer pra-pelatihan. Daripada memperbarui semua bobot model, metode ini menambahkan urutan vektor kontinu yang dapat dilatih (disebut prefix) di awal input setiap lapisan transformer. Vektor-vektor ini bertindak sebagai ‘soft prompts’ yang disesuaikan untuk tugas tertentu, memungkinkan model untuk beradaptasi dengan cepat dan hemat biaya tanpa mengubah arsitektur inti atau bobot model dasar yang telah dilatih sebelumnya.
Summary
Metode penyesuaian efisien parameter yang menambahkan vektor kontinu yang dapat dilatih ke input lapisan transformer.
Key Concepts
- Penyesuaian efisien parameter
- Prompt lunak (Soft prompts)
- Lapisan transformer
- Backbone beku (Frozen backbone)
Use Cases
- Adaptasi pembelajaran few-shot
- Pembelajaran multi-tugas dengan sumber daya terbatas
- Kustomisasi LLM untuk domain khusus