Adaptor
term_id: adapter
Category: training_techniques
Definition
Adaptorii sunt o tehnică de finetuning eficientă din punct de vedere al parametrilor, utilizată în principal în modelele mari de limbaj (LLM) și transformere. În loc să actualizeze toate ponderile modelului, ceea ce este costisitor din punct de vedere computațional, adaptorii…
Summary
Un modul ușor inserat în modele pre-antrenate pentru a permite un finetuning eficient pentru sarcini specifice downstream.
Key Concepts
- Finetuning Eficient din Punct de Vedere al Parametrilor
- Învățarea prin Transfer
- Arhitectură Modulară
- Uitarea Catastrofală
Use Cases
- Finetuning-ul LLM-urilor pentru roboți de chat de asistență clienți
- Adaptarea modelelor de viziune pentru analiza imaginilor medicale
- Implementarea eficientă a mai multor modele specifice domeniului