추적(Tracing)
Definition
AI 엔지니어링의 맥락에서 추적은 각 단계에서 입력, 출력, 지연 시간(latency) 및 리소스 사용량을 포함하여 데이터가 모델이나 애플리케이션을 통과하는 방 …
Performance
Terms tagged with Performance
처리량
Definition
AI 엔지니어링에서 처리량은 시스템 용량을 나타내는 중요한 성능 지표입니다. 이는 대규모 언어 모델(LLM)의 경우 초당 토큰 수, 컴퓨터 비전 모델의 경우 초 …
큐웬2(Qwen2)
Definition
큐웬2는 큐웬 모델 계열의 두 번째 중요한 세대를 나타내며, 아키텍처 개선과 확장된 학습 데이터를 도입했습니다. 이 버전은 다국어
Summary
큐웬2 …
혼합 정밀도 학습
Definition
혼합 정밀도 학습(MPT)은 신경망 학습 과정에서 반정밀도(FP16)와 완전 정밀도(FP32) 데이터 타입을 결합합니다. 대부분의 연산에 FP16 …
Kimi K25
Definition
Kimi K25는 Moonshot AI가 생산하는 Kimi 모델 패밀리 내의 고급 버전입니다. 이전 버전인 Kimi K2의 기반 위에 구축되어, 추론 속 …
압축 텐서
Definition
압축 텐서는 딥러닝에서 사용되는 다차원 배열로, 수치 정밀도(예: float32에서 int8로) 또는 희소성이 감소된 상태입니다. 이 기법은 양자 …
캐싱
Definition
AI 엔지니어링에서 캐싱은 최근 또는 빈번하게 쿼리된 결과, 모델 예측값 또는 중간 연산 결과를 빠른 메모리(RAM 등)에 유지하여 성능을 최적화합니다. 이는 …
비동기 처리
Definition
비동기 처리는 소프트웨어가 메인 애플리케이션 인터페이스가 멈추거나 다른 프로세스를 차단하지 않고도 I/O 작업이나 복잡한 계산과 같은 긴 시간 동안 실행되는 작 …
가속화된 선형 대수학
Definition
이 분야는 머신러닝과 과학적 시뮬레이션의 핵심인 기본 선형 대수 계산을 가속화하는 데 중점을 둡니다. GPU와 TPU의 병렬 처리 능력을 활용하여 계산 속도와 …
양자화
Definition
양자화는 고정소수점 수(예: FP32)를 더 낮은 정밀도의 형식(예: INT8 또는 FP16)으로 변환합니다. …
지연 시간 (Latency)
Definition
지연 시간은 일반적으로 밀리초 단위로 표현되며, AI 서비스의 반응 속도를 측정합니다. 여기에는 추론 시간, 네트워크 전송 지연 및 처리 오버헤드가 포함됩니다. …
분산 학습
Definition
분산 학습은 여러 GPU나 노드에서 계산을 병렬화하여 모델 수렴 속도를 가속화합니다. 여기에는 각 작업자가 데이터의 하위 집합을 처리하는 데이터 병렬성(data …
실시간
Definition
인공지능에서 실시간은 시스템이 최소한의 지연(latency)으로 입력을 처리하고 출력을 생성하는 능력을 나타내며, 종종 밀리초 단위로 이루어집니다. 이는 자율 …
견고함(Robustness)
Definition
인공지능에서 견고함(Robustness)은 적대적 공격, 데이터 분포 변화 또는 노이즈가 있는 입력에 대한 모델의 회복 탄력성을 의미합니다. 견고한 알고리즘은 …
레이트 (속도/비율)
Definition
AI에서 ‘레이트’는 가장 흔히 학습률(Learning Rate)을 의미합니다. 이는 모델 가중치가 업데이트될 때마다 추정된 오차에 반응하 …
고속
Definition
‘고속’이라는 용어는 빠른 추론 시간과 빠른 데이터 처리 능력을 강조하며, 인공지능 모델 내의 계산 효율성을 설명합니다. 이는 실시 …
에피션트(효율적)
Definition
효율은 모델이나 알고리즘이 사용 가능한 자원을 얼마나 잘 활용하는지를 측정하는 AI의 핵심 지표입니다. 여기에는 컴퓨팅 효율성(추론 및 훈련 속도) …
추론 (Inference)
Definition
추론은 완성된 모델을 사용하여 보지 못한 데이터에 대해 결정을 내리거나 예측을 수행하는 배포 단계를 의미합니다. 가중치를 업데이트하는 훈련과 달리, …