Unsloth
Definition
Unsloth는 대규모 언어 모델(LLM)의 파인튜닝 및 배포를 최적화하도록 설계된 전용 도구입니다. 표준 PyTorch 연산을 대체하여 상당한 속도 향상과 메 …
Training
Terms tagged with Training
相互的人間機械学習
Definition
このアプローチは、単純なヒューマンインザループ（人間によるラベリング）を超えたものです。双方向の知識転送が含まれます：人間はモデルのエラーを修正し、モデルはパターン識別の支援や自 …
오프라인 학습
Definition
배치 학습이라고도 하는 오프라인 학습은 이전에 수집된 고정된 데이터셋을 사용하여 머신러닝 모델을 훈련하는 과정을 포함합니다. …
멀티 태스크 러닝
Definition
이 기법은 관련 작업 간에 공유되는 귀납적 편향을 활용하여 학습 효율성과 성능을 향상시킵니다. 단일 모델을 사용하여 여러 작업을 동시에 수행하도록 학습함으로써, …
혼합 정밀도 학습
Definition
혼합 정밀도 학습(MPT)은 신경망 학습 과정에서 반정밀도(FP16)와 완전 정밀도(FP32) 데이터 타입을 결합합니다. 대부분의 연산에 FP16 …
학습 곡선
Definition
일반적으로 학습 곡선은 y축에 훈련 점수와 검증 점수를, x축에 훈련 샘플 수나 반복 횟수를 표시합니다. 이는 모델이 과소적합(hig…) …
지식 증류
Definition
지식 증류는 대규모 복잡한 신경망(교사)을 더 작고 효율적인 네트워크(학생)로 압축하기 위해 사용되는 머신러닝 방법론입니다. 학생 모델은 교사 모델의 출력 분 …
Imatrix (임트릭스)
Definition
중요도 행렬(Importance Matrix)의 약자인 Imatrix는 주로 GGML 기반의 대규모 언어 모델(LLM) 학습 및 양자화와 관련된 기술입니다. 이 …
하이퍼파라미터
Definition
학습 중 데이터로부터 학습되는 모델 파라미터(가중치 및 편향)와 달리, 하이퍼파라미터는 훈련 시작 전에 실무자가 선택하는 외부 설정입니다. 이는 모델의 구조와 …
하이퍼파라미터 튜닝
Definition
하이퍼파라미터 튜닝은 다양한 하이퍼파라미터 세트를 평가하여 가장 높은 모델 정확도 또는 가장 낮은 오차율을 생성하는 구성을 찾는 것을 포함합니다. 일반적인 전략 …
그로킹 (Grokking)
Definition
그로킹(Grokking)은 딥러닝에서 관찰되는 직관에 반하는 행동으로, 모델이 오랫동안 훈련 데이터에 과적합(overfitting)되어 일반화 성능이 낮게 유지 …
파인튜닝(Finetuning)
Definition
파인튜닝은 이미 대규모 일반 데이터셋으로 훈련된 모델을 가져와 더 작은 도메인 특화 데이터셋으로 훈련을 계속하는 기법을 의미합니다. 이를 통해 모델은 특정 작업 …
에포크
Definition
기계 학습에서 에포크는 전체 훈련 데이터셋에 대한 단일 반복(iteration)을 의미합니다. 각 에포크 동안 모델은 모든 훈련 예제를 처리하고 역전파를 통해 …
조기 종료(Early Stopping)
Definition
조기 종료(Early Stopping)는 경사 하강법(gradient descent)과 같은 반복적 훈련 과정에서 주로 사용되는 정규화 방법입니다. 훈련 중 모 …
기대 학습(Eager Learning)
Definition
기대 학습(Eager Learning)에서는 시스템이 새로운 인스턴스를 마주하기 전에 훈련 데이터를 기반으로 일반적인 목표 함수나 모델을 사전에 구축합니다. 이 …
도메인 적응
Definition
도메인 적응은 훈련 데이터와 테스트 데이터가 서로 다른 분포를 가질 때 발생하는 문제를 해결합니다. 레이블이 있는 소스 도메인과 레이블이 없거나 부족한 타겟 도 …
헌법적 AI
Definition
헌법적 AI는 모든 단계에서 인간 피드백에만 의존하지 않고 대규모 언어 모델을 인간의 가치와 정렬시키기 위한 프레임워크입니다. …
견습 학습(Apprenticeship learning)
Definition
견습 학습은 시범을 통한 역보상 학습(Inverse Reinforcement Learning from Demonstrations)이라고도 하며, …
적대적 머신러닝
Definition
이 분야는 모델을 무너뜨리는 공격적 기술과 모델을 강화하는 방어적 전략을 모두 포함합니다. 적대적 예제를 사용하여 모델을 학습시키는 과정을 통해 회복력을 향상시 …
지도 미세 조정
Definition
지도 미세 조정(SFT) …
지도 학습
Definition
지도 학습에서는 알고리즘이 레이블이 지정된 데이터셋으로 훈련되며, 각 입력 예제는 올바른 출력과 짝을 이룹니다. 목표는 모델이 입력과 출력 사이의 근본적인 관계 …
자기 지도 학습(Self-supervised Learning)
Definition
자기 지도 학습은 알고리즘이 레이블이 없는 데이터 자체에서 감독 신호를 생성하는 기법으로, 일반적으로 입력의 누락된 부분을 예측하여 수행됩니다. 이는 …
손실 함수
Definition
비용 함수 또는 오차 함수라고도 불리는 손실 함수는 모델의 성능이 얼마나 좋은지를 나타내는 스칼라 값을 제공합니다. …
학습률
Definition
학습률은 각 학습 반복 동안 계산된 기울기에 비해 모델의 가중치가 얼마나 업데이트되는지를 결정합니다. 너무 높은 학습률은 모델이 최적점을 지나쳐서 발산하거나 불 …
경사 하강법
Definition
경사 하강법은 미분 가능한 함수의 국소 최소값을 찾기 위한 1차원 반복 최적화 알고리즘입니다. 머신러닝에서는 모델의 가중치를 손실 함수의 기울기(그래디언트)가 …
퓨 샷 러닝
Definition
퓨 샷 러닝은 인간 학습의 효율성을 모방하여, 단 몇 개의 예시만으로 모델을 일반화할 수 있도록 하는 것을 목표로 합니다. 이는 일반적으로 메타러 …
파인튜닝(Fine-tuned)
Definition
파인튜닝은 방대하고 일반적인 데이터셋으로 이미 훈련된 모델을 가져와, 더 작고 작업 특화된 데이터셋으로 훈련을 계속하는 기법입니다. 이 기술은 사전 훈련 단계에 …
지도(Supervised)
Definition
지도 학습은 알고리즘에 입력과 정답(레이블)이 모두 포함된 데이터를 공급하는 과정을 포함합니다. 모델은 예측 오차를 최소화함으로써 입력을 출력으로 매핑하는 방법 …
사전 학습
Definition
사전 학습(pre-training)은 딥러닝의 기초 기술로, 모델이 레이블이 없는 방대한 양의 데이터로부터 광범위한 특징과 패턴을 학습하는 과정을 말합니다. …
손실(Loss)
Definition
비용 함수(Cost Function)라고도 불리는 손실 함수는 훈련 중 머신러닝 모델의 예측이 정답(Ground Truth)과 얼마나 일치하는지를 측정합니다. …
지시어 튜닝
Definition
이 과정은 일반적인 사전 훈련과 특정 작업 수행 사이의 격차를 메웁니다. 다양한 지시문-응답 쌍에 노출시킴으로써, 모델은 추가적인 조정 없이 미처 보지 못한 작 …
파인튜닝(Fine-tuning)
Definition
파인튜닝은 대규모 데이터셋으로 훈련된 범용 모델을 가져와, 더 작고 전문적인 데이터셋으로 추가로 훈련하여 특정 작업에 대한 성능을 향상시키는 기술입니다. 이 기 …
파인튜닝
Definition
파인튜닝은 이미 대규모 일반 데이터셋으로 훈련된 모델을 가져와 전문화된 데이터셋으로 추가 훈련하는 것을 포함합니다. …
역전파
Definition
역전파(Backpropagation)는 오차의 역전파를 줄여주는 방법으로, 인공 신경망에서 손실 함수에 대한 가중치의 기울기를 계산하는 데 사용됩니다. 이 방법 …
정렬
Definition
정렬은 AI가 단순히 문자 그대로의 요청을 수행하는 것이 아니라 인간이 실제로 원하는 것을 수행하도록 하는 데 중점을 둡니다. …