P-Tuning
term_id: p_tuning
Category: training_techniques
Definition
P-Tuning(프롬프트 튜닝)은 최소한의 계산 비용으로 대규모 사전 훈련된 언어 모델을 특정 다운스트림 작업에 적응시키기 위해 설계된 기술입니다. 모든 모델 매개변수를 미세 조정하는 대신, 고정된 가중치 위에 가상 토큰(virtual tokens)이나 임베딩을 최적화하여 작업을 수행합니다.
Summary
전체 사전 훈련된 모델 가중치를 업데이트하는 대신 연속적인 프롬프트 임베딩을 최적화하는 매개변수 효율적 파인튜닝 방법.
Key Concepts
- 매개변수 효율적 파인튜닝
- 가상 토큰
- 고정 가중치
- 임베딩 최적화
Use Cases
- 소량 학습(few-shot learning) 적응
- 자원 제약 환경
- LLM 애플리케이션의 신속한 프로토타이핑