통합 모델
Definition
통합 모델은 별도의 분리된 시스템 없이도 텍스트 생성, 이미지 인식, 코드 합성 등 다양한 고유한 작업을 수행할 수 있는 인공지능 시스템을 의미합니다. …
Efficiency
Terms tagged with Efficiency
로봇 프로세스 자동화
Definition
로봇 프로세스 자동화(RPA)는 소프트웨어 로봇을 활용하여 디지털 시스템과 상호작용하는 인간의 행위를 모방합니다. 종종 AI가 결합된 RPA는 데이터 입력, 송 …
큐웬3 5 MoE(Qwen3 5 Moe)
Definition
이 용어는 큐웬 계열 내의 특수 아키텍처를 참조하며, 아마도 혼합 전문가(Mixture of Experts, MoE) 설계를 활용하고 있을 것입니다. 이러한 모 …
양자화(Quantized)
Definition
양자화는 머신러닝 모델의 매개변수 수치 정밀도를 낮추는 모델 최적화 기법으로, 일반적으로 32비트 부동소수점 숫자를 8비트 정수로 변환합니다. …
가지치기(Pruning)
Definition
가지치기는 신경망에서 출력 정확도에 거의 기여하지 않는 뉴런, 연결 또는 필터를 식별하고 제거하는 과정입니다. 이러한 중복 요소를 제거함으로써 모델의 파라미터 …
프롬프트 튜닝(Prompt Tuning)
Definition
프롬프트 튜닝은 사전 훈련된 언어 모델의 입력 레이어에 학습 가능한 소프트 프롬프트(연속 벡터)를 추가하고, 기본 모델 파라미터는 고정된 상태로 유지합니다. …
주도적 학습
Definition
주도적 학습에서는 AI 시스템이 불확실성을 가장 많이 줄이거나 모델 성능을 향상시킬 수 있는 샘플을 결정합니다. 이는 종종 능동 학습이나 탐색 전략을 통해 이루 …
프리픽스 튜닝
Definition
프리픽스 튜닝은 사전 훈련된 트랜스포머 모델에 적용되는 파라미터 효율적인 적응 기술입니다. 모든 모델 가중치를 업데이트하는 대신, 학습 가능한 연속 벡터 시퀀 …
Phi
Definition
Phi는 ‘Teaching-Learning Paradigm(교수-학습 패러다임)‘을 기반으로 한 파운데이션 모델을 줄인 이름으로, 마이크로 …
P-Tuning
Definition
P-Tuning(프롬프트 튜닝)은 최소한의 계산 비용으로 대규모 사전 훈련된 언어 모델을 특정 다운스트림 작업에 적응시키기 위해 설계된 기술입니다. 모든 모델 …
다중 작업 최적화
Definition
다중 작업 최적화(Multitask Optimization)는 단일 모델을 훈련시켜 여러 개의 서로 다르지만 관련성 있는 작업을 동시에 처리하도록 하는 접근 방 …
멀티 태스크 러닝
Definition
이 기법은 관련 작업 간에 공유되는 귀납적 편향을 활용하여 학습 효율성과 성능을 향상시킵니다. 단일 모델을 사용하여 여러 작업을 동시에 수행하도록 학습함으로써, …
모델 압축
Definition
이 범주에는 모델의 용량을 줄이면서도 성능을 유지하는 것을 목표로 하는 가지치기(Pruning), 양자화(Quantization), 지식 증류(Knowledge …
전문가 혼합 (Mixture of Experts)
Definition
전문가 혼합(MoE)은 효율성과 확장성을 향상시키기 위해 설계된 머신러닝 아키텍처입니다. MoE는 모든 작업에 단일 대형 모델을 사용하는 대신, …
Mixtral
Definition
Mixtral은 희소 전문가 혼합(Sparse MoE) 아키텍처를 활용하는 선구적인 오픈 가중치 LLM입니다. 모든 토큰에 대해 전체 매개변수를 사용하는 밀집 …
DeepSeek V3
Definition
DeepSeek V3는 DeepSeek 모델 계열의 고급 버전으로, 전문가 혼합 라우팅을 통해 추론 시 매개변수의 작은 부분 집합만 밀집 활성화하는 특징을 가집 …
비즈니스 프로세스 자동화(BPA)
Definition
비즈니스 프로세스 자동화(BPA)는 복잡한 비즈니스 워크플로우를 간소화하기 위해 소프트웨어와 인공지능(AI)을 활용하는 것을 의미합니다. 단순한 규칙 기반 작업 …
배치 처리(Batch Processing)
Definition
배치 처리는 계산이나 모델 추론을 실행하기 전에 데이터 입력값을 하나의 그룹(배치)으로 집계하는 과정을 포함합니다. 이 접근 방식은 실시간 스트리밍 처리와 대비 …
자동 머신러닝(AutoML)
Definition
AutoML(자동 머신러닝)은 데이터 전처리, 특징 공학, 모델 선택 및 하이퍼파라미터 튜닝 등의 작업을 자동화하여 ML 모델 개발을 간소화합니다. 이 …
자동화된 의사결정
Definition
자동화된 의사결정(ADM)은 이전에 인간의 판단이 필요했던 선택을 소프트웨어 시스템을 통해 수행합니다. 신용 점수 산정, 콘텐츠 검토, 물류 등에서 흔히 사용되 …
능동 학습
Definition
능동 학습은 모델이 인간에게 레이블링할 가장 정보량이 많은 인스턴스를 선택할 수 있도록 함으로써 필요한 레이블 데이터의 양을 줄입니다. 무작위 샘플을 수동으로 …
제로샷 학습
Definition
제로샷 학습은 머신러닝 모델이 훈련 데이터셋에 존재하지 않았던 클래스의 인스턴스를 분류할 수 있도록 합니다. …
QLoRA
Definition
QLoRA는 저랭크 어댑테이션(LoRA)과 4비트 양자화를 결합하여 방대한 모델의 파인튜닝에 필요한 메모리 사용량을 획기적으로 줄입니다. 가중치를 4비트 형식으 …
퓨 샷 러닝
Definition
퓨 샷 러닝은 인간 학습의 효율성을 모방하여, 단 몇 개의 예시만으로 모델을 일반화할 수 있도록 하는 것을 목표로 합니다. 이는 일반적으로 메타러 …
어댑터
Definition
어댑터는 주로 대규모 언어 모델과 트랜스포머에서 사용되는 매개변수 효율적인 파인튜닝 기법입니다. 계산 비용이 많이 드는 모든 모델 가중치를 업데이트하는 대신, …
훈련 불필요(Training-free)
Definition
훈련 불필요 접근법은 역전파를 통해 기본 가중치를 업데이트하지 않고 모델의 동작이나 출력을 수정하는 기법을 지칭합니다. 이러한 방법은 종종 프롬프트 엔지니어링이 …
사전 훈련된
Definition
사전 훈련된 모델은 위키피디아나 ImageNet과 같은 방대하고 다양한 데이터셋으로 광범위하게 훈련된 기반 AI 모델입니다. …
저비용
Definition
저비용 AI는 효율성에 중점을 두어 머신러닝과 관련된 진입 장벽 및 운영 비용을 줄이는 것을 목표로 합니다. 여기에는 모델 압축, 양자화, 경량화 등의 기법이 …
전이 학습
Definition
전이 학습은 사전 훈련된 모델을 활용하여 새로운 관련 작업에서 성능을 향상시키고 훈련 시간을 단축합니다. 처음부터 훈련하는 대신, 개발자는 기존 가중치를 미세 …
맘바(Mamba)
Definition
맘바는 하드웨어 인식 선택적 상태 공간 모델(SSM)을 도입함으로써 시퀀스 모델링 분야에서 중요한 진전을 이루었습니다. 기존 트랜스포머가 시퀀스 길이에 따라 제 …
LoRA(저랭크 어댑테이션)
Definition
LoRA는 사전 학습된 모델 가중치를 고정하고 트랜스포머 아키텍처의 각 레이어에 학습 가능한 분해 행렬을 삽입합니다. …
직접(Direct)
Definition
AI 맥락에서 ‘직접(Direct)‘은 강화학습의 직접 정책 최적화나 직접 매핑 등에서 볼 수 있듯이, 중간 추상화 계층을 우회하여 입력에 …
자동화된
Definition
AI에서의 자동화는 전통적으로 인간의 노력이 필요했던 작업을 알고리즘과 시스템을 사용하여 수행하는 것을 포함합니다. 이는 미리 정의된 규칙을 따르거나 학습된 패 …