Memory Management

PagedAttention

Definition

PagedAttention는 vLLM 프로젝트에서 도입된 기법으로, 대규모 언어 모델(LLM) 추론의 효율성을 개선합니다. 이는 KV …