Önek Ayarlama (Prefix Tuning)
term_id: prefix_tuning
Category: training_techniques
Definition
Önek Ayarlama, önceden eğitilmiş dönüştürücüler için parametre verimli bir uyarlamadır. Tüm model ağırlıklarını güncellemek yerine, girişe eğitilebilir sürekli vektörlerden oluşan bir diziyi (öneki) ekler. Bu sayede modelin çekirdek ağırlıkları dondurulurken, sadece küçük bir önek parametre seti eğitilir; bu da hesaplama maliyetini önemli ölçüde düşürür.
Summary
Dönüştürücü katmanlarının girişine eğitilebilir sürekli vektörler ekleyerek parametre verimliliği sağlayan ince ayar yöntemidir.
Key Concepts
- Parametre verimli ayarlama
- Yumuşak ipuçları (Soft prompts)
- Dönüştürücü katmanları
- Dondurulmuş temel model
Use Cases
- Az örnekli öğrenme adaptasyonu
- Sınırlı kaynaklarla çok görevli öğrenme
- Niş alanlar için LLM’lerin özelleştirilmesi