Serving

Vllm

Definition

vLLM(가상 대규모 언어 모델)은 LLM 서빙을 가속화하기 위해 설계된 오픈소스 라이브러리입니다. 이는 운영 체제의 가상 메모리에서 영감을 받은 메모리 관리 …