커리큘럼 학습(Curriculum Learning)
Definition
커리큘럼 학습은 인간의 교육 방식을 모방하여, 학습 데이터를 단순한 샘플부터 시작해 점진적으로 복잡성을 증가시키는 구조화된 순서로 제시합니다. 이 접근법은 신경 …
Terms tagged with Optimization
커리큘럼 학습은 인간의 교육 방식을 모방하여, 학습 데이터를 단순한 샘플부터 시작해 점진적으로 복잡성을 증가시키는 구조화된 순서로 제시합니다. 이 접근법은 신경 …
vLLM(가상 대규모 언어 모델)은 LLM 서빙을 가속화하기 위해 설계된 오픈소스 라이브러리입니다. 이는 운영 체제의 가상 메모리에서 영감을 받은 메모리 관리 …
VAD 알고리즘은 실시간으로 오디오 스트림을 분석하여 배경 소음이나 일시 정지와 같은 비음성 구간과 활성 음성 기간을 구분합니다. 이는 대역폭을 최적화하는 데 …
Unsloth는 대규모 언어 모델(LLM)의 파인튜닝 및 배포를 최적화하도록 설계된 전용 도구입니다. 표준 PyTorch 연산을 대체하여 상당한 속도 향상과 메 …
토큰 맥싱은 모델의 컨텍스트 윈도우 전체 용량을 활용하거나, 더 나은 성능을 위해 토큰의 의미 밀도를 최적화하기 위해 입력을 신중하게 구성하는 과정을 포함합니 …
TensorFlow Lite는 스마트폰, 마이크로컨트롤러, IoT 장치 등 자원이 제한된 디바이스에 머신러닝 모델을 배포하기 위해 설계된 오픈소스 프레임워크입니 …
3요인 학습(Three-factor learning)은 강화학습 내에서 학습 과정을 세 가지 명확한 구성 요소로 분해하는 특정 접근 방식입니다. 즉, 보상 신 …
텍스트 생성 추론(TGI)은 낮은 지연 시간과 높은 처리량을 위해 대규모 언어 모델(LLM)을 서빙하도록 설계된 전용 소프트웨어 프레임워크입니다. 이 프레임워크 …
기호 회귀는 일반적으로 트리 구조로 표현되는 수학적 표현식을 찾아 관측된 데이터에 최적의 적합도를 갖도록 하는 회귀 분석의 한 유형입니다. …
기계 학습 및 최적화에서 대리 모델은 직접 평가하기 어려운 대상 함수의 대리자 역할을 합니다. 원래 모델의 입력-출력 쌍을 기반으로 훈련되어, 원본 모델의 행동 …
구조적 위험 최소화(SRM)는 과적합을 방지하기 위해 모델의 복잡도를 제어함으로써 기대 위험을 최소화하는 방법론입니다. 이는 경험적 위험 최소화(ERM)에 정규 …
구조적 희소성 정규화는 표준 L1 정규화를 확장하여 개별 계수를 독립적으로 제로(0)로 만드는 것이 아니라, 특정 패턴(예: 그룹 단위)으로 제로를 유도합니다. …
시맨틱 폴딩은 복잡한 고차원 벡터 임베딩을 의미적 손실을 최소화하면서 더 다루기 쉬운 저차원 표현으로 압축하는 과정을 의미합니다. …
재모수화 트릭은 변분 오토인코더 및 기타 확률적 모델에서 사용되는 근본적인 방법입니다. 이는 무작위 변수를 결정론적 매개변수와 독립적인 확률 변수의 곱으로 표현 …
정규화는 기계 학습에서 일반화 오차를 크게 증가시키지 않고 줄이는 것을 목적으로 하는 중요한 개념입니다. 이는 모델이 지나치게 복잡한 패턴(노이즈 포함)을 학습 …
랜덤 피처 맵은 입력을 새로운 공간으로 변환하여 선형 모델이 비선형 커널 함수를 근사할 수 있게 합니다. 이 접근 방식은 종종 Nystrom 방법이나 푸리에 피 …
양자화는 머신러닝 모델의 매개변수 수치 정밀도를 낮추는 모델 최적화 기법으로, 일반적으로 32비트 부동소수점 숫자를 8비트 정수로 변환합니다. …
프록시 경사법은 손실 함수에 미분 가능한 매끄러운 항과 L1 노름과 같은 미분 불가능한 정규화 항이 포함된 경우에 사용되는 반복적 최적화 기법입니다. 이 알고리 …
프롬프트 튜닝은 사전 훈련된 언어 모델의 입력 레이어에 학습 가능한 소프트 프롬프트(연속 벡터)를 추가하고, 기본 모델 파라미터는 고정된 상태로 유지합니다. …
PagedAttention는 vLLM 프로젝트에서 도입된 기법으로, 대규모 언어 모델(LLM) 추론의 효율성을 개선합니다. 이는 KV …
인텔이 개발한 OpenVINO(Open Visual Inference and Neural network Optimization) …
MXFP4(Mixed eXtended Floating Point 4-bit)는 AI …
곱승 가중치 업데이트 방법(Multiplicative Weight Update Method)은 불확실한 환경에서 의사결정을 내리기 위해 사용되는 기본 온라인 학 …
이 기법은 관련 작업 간에 공유되는 귀납적 편향을 활용하여 학습 효율성과 성능을 향상시킵니다. 단일 모델을 사용하여 여러 작업을 동시에 수행하도록 학습함으로써, …
이 범주에는 모델의 용량을 줄이면서도 성능을 유지하는 것을 목표로 하는 가지치기(Pruning), 양자화(Quantization), 지식 증류(Knowledge …
MobileNet은 표준 합성곱 연산에 비해 계산 비용과 모델 크기를 획기적으로 줄이기 위해 깊이별 분리 가능 합성곱(Depthwise Separable …
혼합 정밀도 학습(MPT)은 신경망 학습 과정에서 반정밀도(FP16)와 완전 정밀도(FP32) 데이터 타입을 결합합니다. 대부분의 연산에 FP16 …
메타러닝은 이전 작업에서 학습한 내용을 바탕으로 새로운 미시청 작업을 수행할 때 성능을 향상시킬 수 있는 알고리즘을 설계하는 데 중점을 둡니다. …
행렬 정규화는 스칼라 정규화 개념을 행렬로 확장한 것으로, 주로 다중 작업 학습이나 추천 시스템에서 사용됩니다. 이는 가중치 행렬의 노름(norm)에 제약을 가 …
로터리 티켓 가설은 대규모로 무작위 초기화된 신경망 내에 학습에 잘 적합된 희소 부분 신경망(‘당첨 티켓’)이 존재한다고 제안합니다. 가지 …
로컬 케이스-컨트롤 샘플링은 주로 대조 학습 모델이나 추천 시스템을 훈련하는 데 사용되는 전략입니다. 무작위로 음성 샘플을 선택하는 대신, …
이 개념은 강화 학습에서 유래했으며, 알려지지 않은 환경과 상호작용하는 에이전트를 포함합니다. 자동화기는 유한한 집합에서 행동을 선택하고 페널티 또는 보상 신호 …
レイヤー正規化は、内部共変量シフトを軽減することでトレーニングの安定化を図ります。特にリカレントニューラルネットワークやトランスフォーマーアーキテクチャで効果的です。バッチ統計量 …
지식 증류는 대규모 복잡한 신경망(교사)을 더 작고 효율적인 네트워크(학생)로 압축하기 위해 사용되는 머신러닝 방법론입니다. 학생 모델은 교사 모델의 출력 분 …
지식 컴파일링은 인공지능 분야에서 지식 베이스나 논리 이론을 다른 표현 형태로 변환하여 만족 가능성 확인(SAT) …
인스턴스 선택은 중복되거나 노이즈가 있는 데이터 포인트를 제거하여 계산 효율성과 모델 성능을 향상시키는 것을 목표로 합니다. 특징 선택과 달리 이는 데이터셋의 …
중요도 행렬(Importance Matrix)의 약자인 Imatrix는 주로 GGML 기반의 대규모 언어 모델(LLM) 학습 및 양자화와 관련된 기술입니다. 이 …
증분 휴리스틱 검색은 목표 지점까지 도달하는 비용을 추정하는 휴리스틱에 의해 안내받으며 후보 솔루션을 단계별로 정제하는 알고리즘을 의미합니다. …
하이퍼파라미터 최적화(HPO)는 하이퍼파라미터 선택을 자동화하는 더 넓은 분야를 지칭합니다. 튜닝이 일반적인 행위를 의미한다면, HPO …
하이퍼파라미터 튜닝은 다양한 하이퍼파라미터 세트를 평가하여 가장 높은 모델 정확도 또는 가장 낮은 오차율을 생성하는 구성을 찾는 것을 포함합니다. 일반적인 전략 …
계층적 리스크 패리티(HRP)는 전통적인 평균-분산 최적화의 한계를 극복하기 위해 상관관계 구조를 통합한 포트폴리오 구성 방법입니다. 이는 계층적 클러스터링을 …
이 최적화 전략은 GPU 메모리에 맞지 않는 효과적인 배치 크기로 딥러닝 모델을 학습할 수 있게 합니다. 여러 미니 배치에서 그래디언트를 누적하고 수행함으로써 …
‘GLM MoE DSA’라는 단일 표준 용어는 존재하지 않습니다. 그러나 이는 GLM(특정 대규모 언어 모델 아키텍처), MoE(전문가 혼 …
GGUF(GPT-Generated Unified Format)는 소비자용 하드웨어에서 대형 언어 모델을 실행하도록 특별히 설계된 바이너리 파일 형식입니다. 다양 …
부동소수점 8비트(FP8)는 계산 효율성과 정확성 사이의 균형을 제공하는 수치 데이터 유형으로, 현대 AI 하드웨어에 특히 최적화되어 있습니다. 이는 메모리 대 …
실제 적합도 함수를 평가하는 것이 계산적으로 비용이 많이 들거나 시간이 오래 걸릴 때 진화 계산에서 적합도 근사가 사용됩니다. 정확한 값을 계산하는 대신, …
파인튜닝은 이미 대규모 일반 데이터셋으로 훈련된 모델을 가져와 더 작은 도메인 특화 데이터셋으로 훈련을 계속하는 기법을 의미합니다. 이를 통해 모델은 특정 작업 …
피처 스케일링은 입력 변수의 범위를 표준화하여, 크기가 큰 피처가 학습 과정을 지배하는 것을 방지합니다. 일반적인 방법으로는 정규화(최소-최대 스케일링)와 표준 …
피처 엔지니어링은 도메인 전문 지식을 활용하여 원시 데이터를 머신러닝 알고리즘이 하위 패턴을 더 잘 파악할 수 있는 형태로 변환하는 기술입니다. 이 과정에는 기 …
해시 트릭이라고도 불리는 피처 해싱은 머신러닝 모델이 피처와 인덱스 간의 명시적인 매핑 테이블을 유지하지 않고도 대규모 희소 피처 공간을 처리할 수 있게 해줍니 …
개체군을 유지하는 유전 알고리즘과 달리 EO는 단일 솔루션에서 작동합니다. 전체 적합도에 가장 적게 기여하는 구성 요소를 식별하고 이를 무작위 대안으로 교체합니 …
의사결정 과정에서 에이전트는 현재 지식을 활용하여 즉각적인 최적의 보상을 얻는 것과, 더 나은 장기 전략을 찾기 위해 미지의 옵션을 탐색하는 것 사이의 트레이드 …
계산적 맥락에서 진화 가능성은 알고리즘이나 신경망 아키텍처가 세대나 훈련 단계를 거치면서 적합도를 얼마나 쉽게 향상시킬 수 있는지를 나타냅니다. 높은 진화 가능 …
경험적 위험 최소화(ERM)는 지도 학습 모델을 훈련하기 위한 표준 목적 함수입니다. 이는 주어진 함수 클래스에서 평균 경험적 손실(학습 오차)을 최소화하는 가 …
구글(Google)에서 개발된 EfficientNet은 네트워크의 깊이(depth), 너비(width), 입력 이미지 해상도(resolution) …
이 관행은 스마트폰, IoT 센서 또는 임베디드 시스템과 같은 하드웨어에 훈련된 AI 모델을 직접 배포하는 것을 포함합니다. …
조기 종료(Early Stopping)는 경사 하강법(gradient descent)과 같은 반복적 훈련 과정에서 주로 사용되는 정규화 방법입니다. 훈련 중 모 …
이 용어는 기대값 최대화(Expectation-Maximization, EM) 알고리즘과 가우시안 혼합 모델(Gaussian Mixture Model, GMM) …
LTX 파이프라인은 생성 작업에서 속도와 효율성을 우선시하는 모델에 맞춰져 있으며, 종종 증류(Distillation)되거나 가속화된 샘플링 방법을 사용합니다. …
DP-SGD는 훈련 데이터의 프라이버시를 보호하도록 설계된 확률적 경사 하강법(SGD)의 변형입니다. 각 샘플의 경사 기여도를 제한하여 민감도를 줄인 후 가우시 …
가지치기(Pruning)는 예측력이 약한 가지(branch)를 제거함으로써 의사결정나무 모델의 과적합을 방지하는 방법입니다. …
교차 엔트로피 방법(CEM)은 이산형 및 연속형 문제 모두에 사용되는 강력한 범용 최적화 알고리즘입니다. 탐색 공간에 대한 확률 분포를 유지하며, 가장 우수한 …
대조적 학습은 레이블이 붙은 데이터가 필요 없는 표현 학습 방법입니다. 동일한 입력의 증강된 뷰(양성 쌍)를 생성하고, 서로 다른 입력 또는 증강된 뷰(음성 …
비용 민감 기계 학습은 전통적인 지도 학습을 확장하여, 서로 다른 유형의 오류에 서로 다른 패널티를 부여합니다. 실제 시나리오에서 위양성(False …
계산적 휴리스틱 지능은 합리적인 시간 내에 만족스러운 해를 찾기 위해 상식(rule of thumb), 근사치, 또는 유추된 추측을 사용하는 알고리즘을 포함합니 …
압축 텐서는 딥러닝에서 사용되는 다차원 배열로, 수치 정밀도(예: float32에서 int8로) 또는 희소성이 감소된 상태입니다. 이 기법은 양자 …
딥러닝 엔지니어링에서 클리핑은 일반적으로 그래디언트에 적용되어 폭발하는 그래디언트(Exploding Gradient) 문제를 완화하고 역전파의 안정성을 보장합니 …
AI 엔지니어링에서 캐싱은 최근 또는 빈번하게 쿼리된 결과, 모델 예측값 또는 중간 연산 결과를 빠른 메모리(RAM 등)에 유지하여 성능을 최적화합니다. 이는 …
베이지안 최적화는 목적 함수를 모델링하기 위해 일반적으로 가우시안 프로세스인 확률적 대리 모델을 사용합니다. 탐색과 활용을 균형 있게 맞추기 위해 획득 함 …
이 방법은 훈련 중 각 미니 배치 내에서 활성화 값의 평균을 0, 분산을 1로 조정 및 스케일링합니다. 이를 통해 내부 공변량 변화(Internal …
배치 크기는 모델의 내부 매개변수가 업데이트되기 전에 처리되는 샘플의 수를 결정하는 중요한 하이퍼파라미터입니다. 더 큰 배치 크기는 그라디언트의 더 정확한 추정 …
알파칩은 마이크로칩의 구성 요소 배치 및 라우팅을 자동화하고 향상시키기 위해 설계된 특수화된 AI 시스템입니다. 심층 강화학습을 활용하여 시간을 크게 단축합니 …
알고리즘 선택은 주어진 작업을 효율적으로 해결하는 데 가장 적합한 접근 방식을 결정하기 위해 다양한 계산 방법을 평가하는 것을 포함합니다. 이 과정에는 시간 복 …
경로 찾기 및 탐색 문제에서 허용 가능한 휴리스틱은 대상 노드에 도달하는 실제 비용에 대한 하한선을 제공합니다. …
이 분야는 머신러닝과 과학적 시뮬레이션의 핵심인 기본 선형 대수 계산을 가속화하는 데 중점을 둡니다. GPU와 TPU의 병렬 처리 능력을 활용하여 계산 속도와 …
A/B 테스트는 두 가지 변형(A와 B)을 무작위 통제 실험으로 비교하여 특정 지표에서 더 나은 결과를 가져오는지를 평가합니다. AI 엔지니어링에서 이는 최적화 …
스킵 연결(skip connections)이라고도 불리는 잔차 연결은 입력을 후속 레이어의 출력에 직접 추가하여 네트워크 전체에 걸쳐 기울기가 흐르도록 합니다. …
QLoRA는 저랭크 어댑테이션(LoRA)과 4비트 양자화를 결합하여 방대한 모델의 파인튜닝에 필요한 메모리 사용량을 획기적으로 줄입니다. 가중치를 4비트 형식으 …
양자화는 고정소수점 수(예: FP32)를 더 낮은 정밀도의 형식(예: INT8 또는 FP16)으로 변환합니다. …
학습률은 각 학습 반복 동안 계산된 기울기에 비해 모델의 가중치가 얼마나 업데이트되는지를 결정합니다. 너무 높은 학습률은 모델이 최적점을 지나쳐서 발산하거나 불 …
경사 하강법은 미분 가능한 함수의 국소 최소값을 찾기 위한 1차원 반복 최적화 알고리즘입니다. 머신러닝에서는 모델의 가중치를 손실 함수의 기울기(그래디언트)가 …
분산 학습은 여러 GPU나 노드에서 계산을 병렬화하여 모델 수렴 속도를 가속화합니다. 여기에는 각 작업자가 데이터의 하위 집합을 처리하는 데이터 병렬성(data …
어댑터는 주로 대규모 언어 모델과 트랜스포머에서 사용되는 매개변수 효율적인 파인튜닝 기법입니다. 계산 비용이 많이 드는 모든 모델 가중치를 업데이트하는 대신, …
작업 특화형은 객체 감지나 언어 번역 등 좁은 범위의 목표에서 탁월한 성능을 발휘하도록 맞춤화된 AI 모델 또는 구성 요소를 의미합니다. …
머신러닝과 최적화에서 원스텝 방법은 수렴하기 위해 여러 반복이나 업데이트를 필요로 하지 않고 문제를 직접 해결합니다. 많은 단계를 거쳐 최소화하는 경사 하강법과 …
파인튜닝은 방대하고 일반적인 데이터셋으로 이미 훈련된 모델을 가져와, 더 작고 작업 특화된 데이터셋으로 훈련을 계속하는 기법입니다. 이 기술은 사전 훈련 단계에 …
인공지능과 수학에서 ‘퍼스트오더’는 일반적으로 고차 상호작용 없이 직접적이고 선형적인 관계를 다루는 시스템이나 연산을 설명합니다. 최적화 …
튜닝은 더 나은 정확도나 효율성을 달성하기 위해 머신러닝 모델을 정제하는 과정을 의미합니다. …
전이 학습은 사전 훈련된 모델을 활용하여 새로운 관련 작업에서 성능을 향상시키고 훈련 시간을 단축합니다. 처음부터 훈련하는 대신, 개발자는 기존 가중치를 미세 …
AI 개발에서 ‘지향(towards)‘은 종종 최적화 과정의 궤적을 설명합니다. 예를 들어, 경사 하강법(gradient descent) …
확장(Scaling)은 더 많은 레이어, 뉴런 또는 학습 예제를 추가하여 AI 시스템을 확장하는 능동적인 방법론입니다. 여기에는 증가하는 계산 부하를 처리하기 …
AI에서 ‘레이트’는 가장 흔히 학습률(Learning Rate)을 의미합니다. 이는 모델 가중치가 업데이트될 때마다 추정된 오차에 반응하 …
AI 및 최적화 이론에서 최적의 솔루션은 강화 학습에서의 최대 보상이나 회귀 분석에서의 최소 오차와 같이 가능한 최고 성능 지표를 달성하는 것을 말합니다. 최적 …
비용 함수(Cost Function)라고도 불리는 손실 함수는 훈련 중 머신러닝 모델의 예측이 정답(Ground Truth)과 얼마나 일치하는지를 측정합니다. …
LoRA는 사전 학습된 모델 가중치를 고정하고 트랜스포머 아키텍처의 각 레이어에 학습 가능한 분해 행렬을 삽입합니다. …
AI에서 ‘글로벌(Global)‘이라는 용어는 일반적으로 ‘로컬(Local)‘과 대비되며, 전체 시스템을 포괄하는 측 …
‘고속’이라는 용어는 빠른 추론 시간과 빠른 데이터 처리 능력을 강조하며, 인공지능 모델 내의 계산 효율성을 설명합니다. 이는 실시 …
효율은 모델이나 알고리즘이 사용 가능한 자원을 얼마나 잘 활용하는지를 측정하는 AI의 핵심 지표입니다. 여기에는 컴퓨팅 효율성(추론 및 훈련 속도) …
최적화 관점에서 발산은 모델의 파라미터 업데이트가 손실을 감소시키지 않고 오히려 증가시킬 때 발생합니다. 이는 종종 NaN 값이나 무한大的인 그래디언트, …
이 과정은 복잡하고 고성능인 ‘교사(Teacher)’ 신경망에서 더 단순하고 효율적인 ‘학생(Student)’ 네트워 …
이 개념은 분산이나 편향을 줄이기 위해 여러 모델의 예측을 집계하는 앙상블 학습(ensemble learning)과 같은 방법을 포괄합니다. …
Adam(적응 모멘트 추정)은 심층 신경망 훈련에 널리 사용되는 1계 경사 기반 최적화 알고리즘입니다. 이는 확률적 경사 하강법의 두 가지 확장 버전인 모멘 …
파인튜닝은 이미 대규모 일반 데이터셋으로 훈련된 모델을 가져와 전문화된 데이터셋으로 추가 훈련하는 것을 포함합니다. …
프롬프트 엔지니어링은 생성형 AI 모델로부터 정확하고 관련성이 높으며 고품질의 응답을 이끌어내기 위해 ‘프롬프트’라고 불리는 특정 입력을 …