Prompt-säätö
term_id: prompt_tuning
Category: training_techniques
Definition
Prompt-säädössä esikoulutetun kielimallin syöttökerrokseen lisätään koulutettavia pehmeitä prompteja (jatkuvia vektoreita) pitäen samalla mallin taustaparametrit jäähdytettynä (muuttumattomina). Tämä lähestymistapa mahdollistaa tehokkaan mukauttamisen vähäisillä resursseilla.
Summary
Parametritehokas hienosäätömenetelmä, joka optimoi jatkuvia syöte-embeddings-vektoreita päivittämättä koko mallin painoja.
Key Concepts
- pehmeät promptit
- parametritehokkuus
- jäähdytetyt painot
- vähäisten esimerkkien oppiminen (few-shot learning)
Use Cases
- Kielimallien (LLM) mukauttaminen tiettyihin aloihin
- Resurssivilja hienosäätö
- Monitehtävällisen oppimisen optimointi