Vllm
Definition
vLLM(가상 대규모 언어 모델)은 LLM 서빙을 가속화하기 위해 설계된 오픈소스 라이브러리입니다. 이는 운영 체제의 가상 메모리에서 영감을 받은 메모리 관리 …
Inference
Terms tagged with Inference
텍스트 생성 추론
Definition
텍스트 생성 추론(TGI)은 낮은 지연 시간과 높은 처리량을 위해 대규모 언어 모델(LLM)을 서빙하도록 설계된 전용 소프트웨어 프레임워크입니다. 이 프레임워크 …
텍스트 임베딩 추론
Definition
텍스트 임베딩 추론은 자연어를 고차원 벡터로 변환하는 모델의 배포 및 최적화를 의미합니다. …
자기 일관성(Self-Consistency)
Definition
주로 대규모 언어 모델(LLM)에서 사용되는 이 기법은 샘플링을 통해 프롬프트에 대해 다양한 응답을 여러 개 생성함으로써 정확도를 향상시킵니다. 탐욕적 디코 …
PagedAttention
Definition
PagedAttention는 vLLM 프로젝트에서 도입된 기법으로, 대규모 언어 모델(LLM) 추론의 효율성을 개선합니다. 이는 KV …
추론적 학습 이론
Definition
이 이론은 학습이 본질적으로 확률적 추론 과정이라고 주장합니다. 학습자는 데이터를 암기하는 대신 가능한 모델이나 가설들에 대한 확률 분포를 유지합니다. 새로운 …
기대 전파
Definition
기대 전파(EP)는 실제 사후 분포에 대한 가우시안 근사를 반복적으로 정교화하여 계산이 불가능한 적분을 근사합니다. 이는 근사된 분포와 실제 사후 분포 사이의 …
기대 학습(Eager Learning)
Definition
기대 학습(Eager Learning)에서는 시스템이 새로운 인스턴스를 마주하기 전에 훈련 데이터를 기반으로 일반적인 목표 함수나 모델을 사전에 구축합니다. 이 …
베이지안 프로그래밍
Definition
베이지안 프로그래밍은 베이즈 정리를 일반화하여 복잡하고 다층적인 확률적 종속성을 처리할 수 있는 수학적 프레임워크입니다. …
베이지안 학습 메커니즘
Definition
베이지안 학습 메커니즘은 베이즈 정리를 사용하여 모델 매개변수에 대한 신념을 업데이트하며, 사전 지식과 관측된 데이터를 결합하여 사후 분포를 형성합니다. 빈도주 …
몬테카를로(Monte)
Definition
몬테카를로 기법은 수학적 양을 추정하기 위해 반복적인 무작위 표본 추출에 의존하는 계산 알고리즘 클래스입니다. 이들은 고차원 적분 등에서 특히 유용합니다. …
인과(Ina/Causal)
Definition
인공지능에서 인과 모델링은 한 변수에 대한 개입이 다른 변수에 어떻게 영향을 미치는지 이해하려는 시도입니다. 관찰된 패턴에 의존하는 예측 모델과 달리, …