Fine-Tuning

Terms tagged with Fine-Tuning

Definition

프리픽스 튜닝은 사전 훈련된 트랜스포머 모델에 적용되는 파라미터 효율적인 적응 기술입니다. 모든 모델 가중치를 업데이트하는 대신, 학습 가능한 연속 벡터 시퀀 …

P-Tuning(프롬프트 튜닝)은 최소한의 계산 비용으로 대규모 사전 훈련된 언어 모델을 특정 다운스트림 작업에 적응시키기 위해 설계된 기술입니다. 모든 모델 …

이 항목은 ‘Jackrong/Qwen3.5 Reasoning 700X’라는 식별자로 지정된 특정 데이터셋 리포지토리를 참조합니다. 일반적으 …

지도 미세 조정(SFT) …

QLoRA는 저랭크 어댑테이션(LoRA)과 4비트 양자화를 결합하여 방대한 모델의 파인튜닝에 필요한 메모리 사용량을 획기적으로 줄입니다. 가중치를 4비트 형식으 …

어댑터는 주로 대규모 언어 모델과 트랜스포머에서 사용되는 매개변수 효율적인 파인튜닝 기법입니다. 계산 비용이 많이 드는 모든 모델 가중치를 업데이트하는 대신, …

인간 피드백 기반 강화 학습(Reinforcement Learning from Human Feedback, RLHF)은 대규모 언어 모델(LLM) …

LoRA는 사전 학습된 모델 가중치를 고정하고 트랜스포머 아키텍처의 각 레이어에 학습 가능한 분해 행렬을 삽입합니다. …